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Woord vooraf 


In april 2015 vroegen de ministers van Buitenlandse zaken en Defensie de 
Adviesraad Internationale Vraagstukken (AIV) en de Commissie van Advies inzake 
Volkenrechtelijke Vraagstukken (CAVV) te adviseren over autonome wapensystemen 
(zie bijlage I). In de adviesaanvraag merkt de regering op dat het niet langer 
denkbeeldig is dat op langere termijn volledig autonome wapensystemen met 
kunstmatige intelligentie worden ontwikkeld met functies zoals doelselectie en 
toepassing van (dodelijk) geweld, zonder tussenkomst van menselijk handelen. Er 
is internationaal een debat ontstaan over de juridische, ethische en beleidsmatige 
vragen met betrekking tot volledig autonome wapensystemen. De regering legt 
daarom de volgende vragen voor aan de AIV en de CAVV: 

1. Welke rol ziet u nu en in de toekomst weggelegd voor autonome (functies van) 
wapensystemen in het militaire optreden? 

2. Voorziet u veranderingen bij het afleggen van verantwoording over het gebruik 
van (volledig) autonome wapensystemen in relatie tot daarmee samenhangende 
ethische vragen? Welke rol kan de notie van ‘betekenisvolle menselijke 
interventie’ hierbij volgens u spelen en zijn er nog andere noties die hierbij 
behulpzaam kunnen zijn? 

3. In haar eerdere advies heeft de CAVV gesteld dat de inzet van ieder 
wapensysteem, of het (vrijwel) autonoom is of niet, onderworpen is aan hetzelfde 
juridische kader. Wat de CAVV betreft is er geen reden om aan te nemen dat 

het internationaalrechtelijke kader ontoereikend is om de inzet van bewapende 
drones te reguleren. Is er in het licht van de discussie over (volledig) autonome 
wapensystemen reden om dit advies aan te vullen of bij te stellen? 

4. Hoe beoordeelt u de oproep van de Speciaal Rapporteur van de VN om een 
moratorium op de ontwikkeling van volledig autonome wapensystemen? 

5. Hoe kan Nederland het beste bijdragen aan de internationale discussie hierover? 

Om huidige en toekomstige dreigingen het hoofd te kunnen bieden, moet de 
krijgsmacht zich voortdurend vernieuwen. Defensie maakt daarom gebruik van de 
modernste technologieën. De ontwikkeling van civiele dual use technologie gaat 
doorgaans vooraf aan militaire toepassingen. 1 Zogenaamde emerging technologies 
(vooral nanotechnologie, cognitieve wetenschap en kunstmatige intelligentie) spelen 
een belangrijke rol bij de ontwikkeling en het gebruik van wapensystemen. 

Defensie maakt al jaren gebruik van wapensystemen die in belangrijke mate 
geautomatiseerd zijn en een zekere mate van autonomie hebben, zoals de Goalkeeper 
aan boord van schepen en de Patriot grond-luchtdoelraketten. Deze defensieve 
systemen staan onder controle van bedienaars, maar kunnen ook zelfstandig doelen 
selecteren en aanvallen. Vanwege de snelle ontwikkelingen op het gebied van met 
name robotica en kunstmatige intelligentie vrezen sommigen dat wapensystemen op 
een bepaald moment zonder enige menselijke controle zouden kunnen functioneren 
en worden ingezet. 


1 K. Anderson, D. Reisner en M. Waxman, Adapting the Law of Armed Conflict to Autonomous Weapon Systems, 
2014, p. 391. Zie: <https://www.usnwc.edu/getattachment/a2ce46e7-lc81-4956-a2f3-c8190837afa4/ 
dapting-the-Law-of-Armed-Conflict-to-Autonomous-We.aspx> en <http://www.unidir.org/files/publications/ 
pdfs/framing-discussions-on-the-weaponization-of-increasingly-autonomous-technologies-en-606.pdf>. 


Deze vrees heeft aanleiding gegeven tot het hiervoor genoemde internationaal debat 
over de juridische, ethische, technische en beleidsmatige vragen die met de mogelijke 
toekomstige ontwikkeling en inzet van (volledig) autonome wapensystemen gepaard 
gaan. Sinds 2013 hebben verschillende non-gouvernementele organisaties (NGO’s) 
zich verenigd in de internationale campagne Stop Killer Robots. Deze NGO’s menen 
dat een morele grens wordt overschreden als machines beslissen over leven en dood 
en dat de invoering van autonome wapens ook andere negatieve gevolgen heeft. 2 
In datzelfde jaar presenteerde de Special Rapporteur on Extrajudicial, Summary or 
Arbitrary Executions, Christof Heyns, zijn rapport over Lethal Autonomous Robotics 
in de VN Mensenrechtenraad. 3 Heyns meent dat wapens die zelf doelen selecteren en 
aanvallen, de menselijke waardigheid aantasten. Hij bepleit een moratorium zodat 
een internationale regeling tot stand kan komen over de toekomst van deze wapens. 
Op 28 juli 2015 publiceerden ruim duizend wetenschappers en ondernemers een 
open brief waarin zij opriepen tot een verbod op offensieve autonome wapen¬ 
systemen die niet onder betekenisvolle menselijke controle staan. 4 Sindsdien hebben 
velen zich bij dit initiatief aangesloten. 

In mei 2014 en in april 2015 heeft een groot aantal deskundigen gediscussieerd 
over autonome wapensystemen in het kader van de Conventie voor bepaalde 
Conventionele Wapens (CCW) van de Verenigde Naties (VN). Duidelijk werd dat 
er geen consensus is over belangrijke vragen, zelfs niet over definities, zoals 
wat moet worden verstaan onder autonome wapens. Er zijn wel belangrijke 
vraagpunten op tafel gelegd die in ieder geval een grote rol zullen spelen in het 
voortgaande debat over autonome wapensystemen. Dit betreft vooral de vraag 
of het huidige volkenrechtelijke kader volstaat, vragen van aansprakelijkheid, 
ethische vragen en de vraag naar de betekenis van het concept betekenisvolle 
menselijke controle. Deze vragen staan ook centraal bij deze adviesaanvraag. 

Omdat het gaat om ontwikkelingen op het gebied van emerging technologies die 
snel kunnen gaan en de discussies over autonome wapensystemen in internationaal 
verband nog volop plaatsvinden, acht de AIV/CAVV het zinvol om bij de 
beantwoording van de adviesvragen de aandacht vooral te richten op de komende 
tien jaar. Dit laat onverlet dat ook een blik op de verdere toekomst wordt geworpen. 

Omdat definities belangrijk zijn voor een heldere discussie over dit complexe 
onderwerp zal in het eerste hoofdstuk eerst worden ingegaan op het begrip 
autonome wapensystemen. Daarna worden de militaire voordelen en beperkingen 
van autonome wapensystemen beschreven en wordt ingegaan op de mogelijke 
toekomstige inzet van deze wapensystemen. Daarbij komt ook het targetingproces 
aan de orde, dat een belangrijke rol speelt in dit advies. Vervolgens worden 
mogelijke ontwikkelingen op langere termijn aan de orde gesteld. 

In het tweede hoofdstuk wordt het juridische kader voor de toelaatbaarheid 
en inzet van autonome wapens in kaart gebracht. Met name wordt ingegaan op 


2 Zie: <http://www.stopkillerrobots.org/the-problem/>. Geconsulteerd op 6 mei 2015. 

3 C. Heyns, Special Rapporteur on Extrajudicial, Summary or Arbitrary Executions; Report Human Rights 
Council to the UN General Assembly, UN Doe. A/HRC/23/47. 

4 Zie: <http://futureoflife.org/AI/open_letter_autonomous_weapons>. Geconsulteerd op 29 juli 2015. 


de toepasselijke rechtsregimes voor de inzet van autonome wapens en de (on) 
rechtmatigheid van autonome wapens. 

In het derde hoofdstuk komen vragen van juridische aansprakelijkheid aan de 
orde. Daarbij worden onder andere verschillende vormen van aansprakelijkheid 
besproken, zoals aansprakelijkheid van militaire commandanten en van staten. 

In het vierde hoofdstuk wordt het concept betekenisvolle menselijke controle 
besproken en de rol die dit begrip kan spelen in de discussie over autonome 
wapens. 

In het vijfde hoofdstuk wordt ingegaan op ethische aspecten. 

In het zesde hoofdstuk komt de vraag aan de orde of een moratorium op de 
ontwikkeling van autonome wapens wenselijk en haalbaar is. 

Het advies wordt afgesloten met een samenvatting, conclusies en aanbevelingen in 
het zevende hoofdstuk. 

Het advies is opgesteld door een gecombineerde commissie van de A1V en de CAVV 
onder voorzitterschap van LGen b.d. M.L.M. Urlings (AIV/CVV). De leden waren mw. 
prof.dr. I. Duyvesteyn (AIV/CVV), prof.dr. T.D. Gill (CAVV), mw. mr.dr. B.T. van Ginkel 
(AIV/CVV), mw. prof.dr. L.J. van den Herik (CAVV), prof.dr. J.G. Lammers (CAVV) 
mw. prof.dr. M.E.H. van Reisen (AIV/COS) en prof.dr. W.G. Werner (CAVV). Gen.-maj. 
der mariniers b.d. mr.drs. C. Homan (AIV/CVV) was corresponderend adviseur. Het 
secretariaat werd gevoerd door drs. J. Smallenbroek (AIV) en mw. mr.drs. E.M. van 
Rijssen (CAVV), bijgestaan de stagiaires mw. E.J.M. Smit en mw. T.J.E. van Rens. De 
ambtelijke contactpersonen waren ir. M. Reubzaet, drs. M. Valstar, mr.dr. J. Gutter 
(allen Ministerie van Buitenlandse Zaken), drs. J.M.D. van Leeuwe en maj. mr. M. 
Antzoulatos (beiden Ministerie van Defensie). 

De commissie sprak met de volgende deskundigen: 

Prof.dr. M.J. van den Hoven, hoogleraar ethiek & filosofie van de techniek, 
Technische Universiteit Delft; 

Dr. L.J.H.M. Kester, Senior Research Scientist bij de groep Distributed Sensor 
Systems, Nederlandse Organisatie voor toegepast-natuurwetenschappelijk 
onderzoek (TNO); 

Prof.dr. M.M. Louwerse, hoogleraar Cognitieve Psychologie en Artificiële 
Intelligentie, Universiteit van Tilburg; 

Mw. M. Struyk, Teamleider Veiligheid en Ontwapening bij PAX. 

Daarnaast heeft de commissie een beroep kunnen doen op de promovendi mw. 
M.A.C. Ekelhof LL.M en dhr. D.R. Saxon LL.M die als toehoorder bij de vergaderingen 
van de commissie aanwezig waren. 

De AIV en de CAVV zijn hen zeer erkentelijk voor het delen van hun inzichten. 

De AIV heeft dit advies vastgesteld op 2 oktober 2015. 

De CAVV heeft dit advies vastgesteld op 12 oktober 2015. 
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I.l Wat is een autonoom wapen? 

De ontwikkeling naar autonome functies in wapens is niet nieuw. Reeds in de Tweede 
Wereldoorlog gebruikten de Duitsers Wren torpedo’s die hun koers aanpasten aan de plaats 
waar het bewegende doel zich bevond. De torpedo’s legden na lancering 400 meter af, 
waarna microfoons werden ingeschakeld. Op basis van het geluid van de scheepsschroef 
corrigeerde de torpedo zijn koers, zodat het doel met grotere precisie kon worden geraakt. 

Zo bezien past de ontwikkeling van autonome wapens in een langere trend van voortgaande 
technologische ontwikkeling waarbij mensen steeds minder een rol lijken te spelen in 
beslissingen over de selectie en het aanvallen van doelen. Dit is met name vanuit juridisch 
en ethisch perspectief het element dat vragen oproept; vragen of het internationaal 
humanitair recht dergelijke wapens toestaat en of deze ethisch toelaatbaar zijn. 

Een wapen kan deels autonoom functioneren, terwijl bij de uitvoering van andere taken of 
functies mensen betrokken zijn. Onder andere het United Nations Institute for Disarmament 
Research (UNIDIR) en het International Committee of the Red Cross (ICRC) maken in dit 
verband onderscheid tussen kritische functies van wapens en andere functies. 6 Kritische 
functies hebben betrekking op het gebruik van geweld en betreffen het ‘selecteren van 
doelen’ en ‘aanvallen van doelen’. Zo is bijvoorbeeld autonoom bijtanken in de lucht geen 
kritische functie. Alleen wapens waarbij de kritische functies autonoom worden vervuld - dus 
door het wapen in plaats van door mensen - zijn autonome wapens. 

In de meeste publicaties over autonome wapens worden drie categorieën wapens 
onderscheiden, namelijk wapens waarbij de mens respectievelijk in the loop, on the loop of 
out of the loop is. 7 De eerste categorie wapens wordt gevormd door wapens met een human 
in the loop voor de selectie van en aanval op specifieke doelen. Dit zijn wapensystemen 
die autonoom individuele doelen of specifieke categorieën van doelen aanvallen, die door 
een mens zijn geselecteerd. Daartoe behoren onder andere verschillende soorten geleide 
munitie die al decennia worden gebruikt. Soms kan het doel tijdens de vlucht worden 
aangepast, zoals bij de laatste versie van de Tomahawk land-attack cruise missile. Bij andere 
soorten geleide munitie zoals de zogenaamde fire and forget wapens, kan dit weer niet. De 
wapens die tot deze categorie ( human in the loop) behoren zijn semi-autonome wapens. 

De tweede categorie wordt gevormd door wapens met een human on the loop voor de 
selectie van en aanval op specifieke doelen, nadat het wapen is geactiveerd. Dit zijn 
wapensystemen die autonoom individuele doelen selecteren en aanvallen, die niet 
zijn geselecteerd door een mens, maar mensen weten wel welk soort doel zal worden 


5 Ook andere namen worden gebruikt, zoals: Lethal Autonomous Weapon Systems (LAWS), robotwapens, 
LAWs (Lethal Autonomous Weapons), LARs (Lethal Autonomous Robots), FAWs (Fully Autonomous Weapon 
systems), Killer Robots en WUS (Weaponized Unmanned Systems). In dit advies worden de begrippen 
autonome wapensystemen en autonome wapens naast elkaar gebruikt. 

6 UNIDIR, Framing disussions on the weaponization of increasingly autonomous technologies, UNIDIR 
resources no. 1, 2014, pp. 3-4 en ICRC, autonomous weapon systems: technical, military, legal and 
humanitarian aspects, expert meeting 26 to 28 March 2014, Geneva, background paper p. 62. 

7 Zie Appendix A bij: P. Scharre en M.C. Horowitz, an introduction to autonomy in weapon systems, 
working paper February 2015, Center for a New American Security. 
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aangevallen en kunnen interveniëren als dat wenselijk is. Dit zijn autonome wapensystemen 
onder menselijk toezicht. Bestaande wapens in deze categorie hebben in de praktijk een 
defensieve taak en worden ingezet in relatief overzichtelijke omgevingen. Dergelijke wapens 
zijn in de meeste gevallen vast gemonteerd (bijvoorbeeld de Goalkeeper op een fregat) of 
statisch opgesteld (bijvoorbeeld de Patriot ). Vanwege de korte vluchttijd van de projectielen is 
ingrijpen niet altijd mogelijk als een onbedoelde confrontatie met een object dreigt. 8 Wel kan 
de bedienaar van het wapen verder functioneren van het systeem beletten en ook kan hij 
ingrijpen bij disfunctionerende software of bij een cyberaanval. Het belangrijkste verschil met 
wapens met een mens in the loop (de eerste categorie) is dat wapens met een mens on the 
loop wel zelf individuele doelen selecteren. 

De derde categorie wordt gevormd door wapens met een human out of the loop voor de 
selectie van en aanval op individuele doelen, nadat het wapen is geactiveerd, en waarbij een 
mens niet kan ingrijpen om de aanval te stoppen. Dit zijn wapensystemen die autonoom 
individuele doelen selecteren en aanvallen in een vooraf geprogrammeerd geografisch gebied 
gedurende een bepaalde tijd volgens vooraf geprogrammeerde regels. De bedienaar van het 
wapen weet niet welk individueel doel zal worden aangevallen, maar het soort doel is wel 
vooraf geprogrammeerd. Het wapen valt daarom alleen doelen aan met de geprogrammeerde 
kenmerken. Dit zijn autonome wapens. Er zijn thans slechts enkele voorbeelden van 
operationele wapensystemen die deze kenmerken hebben, zoals de Israëlische Harpy, 
gericht tegen radardoelen. Dit wapen kan over een gebied vliegen en is geprogrammeerd om 
vijandelijke radarinstallaties binnen dat (vooraf bepaalde) gebied aan te vallen als het doel 
aan bepaalde parameters voldoet. De mens weet dus niet welk individueel doel zal worden 
aangevallen; hij weet alleen dat een bepaald soort doelen in een geografisch omlijnd gebied 
gedurende een vastgestelde tijdsperiode wordt gezocht en zo mogelijk wordt aangevallen. 
Andere voorbeelden van wapensystemen die genoemde kenmerken in belangrijke mate 
hebben, zijn sensor fuzed weapons en de Brlmstone, een lucht-grondraket tegen onder meer 
vijandelijke tanks. 9 Het belangrijkste verschil met wapens met een mens on the loop is dat 
de mens niet meer kan ingrijpen om de aanval te stoppen nadat het wapen is geactiveerd. 

Bij deze definities plaatst de AIV/CAVV twee kanttekeningen. In de eerste plaats is 
het van belang te omschrijven wat met de loop wordt bedoeld. Met de loop wordt het 
besluitvormingsproces bedoeld ten aanzien van de selectie en het aanvallen van doelen. 

Dit begrip kan betrekking hebben op de kritische processen (doelselectie en aanval 
op het doel) die het wapen autonoom uitvoert (de loop ‘in enge zin’), maar ook op het 
bredere targeting proces waarbij de mens een beslissende rol vervult. Voorafgaand aan 
het proces dat het wapen uitvoert om een individueel doel te selecteren en aan te vallen, 
hebben immers mensen het besluit genomen het wapen in te zetten. Dit besluit maakt 
deel uit van het zogeheten targetingproces, waaronder ook elementen als het formuleren 
van doelstellingen, doelselectie, wapenselectie en uitvoeringsplanning vallen. 10 Daarbij 
worden ook de mogelijke gevolgen voor de burgerbevolking meegewogen. Binnen de Noord- 


8 P. Scharre en M.C. Horowitz, an introduction to autonomy in weapon systems, Center for a New American 
Security, working paper February 2015. 

9 Article 36, Key areas for debate on autonomous weapons systems, briefing paper, mei 2014. 

10 M. Roorda, NATO’s targeting process: ensuring human control over and lawful use of autonomous’ 
weapons. Zie: <http://papers.ssrn. com/sol3/papers.cfm?abstractJd=2593697>. Geconsulteerd op 
26 mei 2015. Deze cyclus kent de volgende 6 fasen: (1) End State and Commander’s Objectives, (2) 
Target Development and Prioritization, (3) Capabilities Analysis, (4) Commander’s Decision and Force 
Assignment, (5) Mission Planning and Force Execution, (6) Assessment. 
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Atlantische Verdragsorganisatie (NAVO) verloopt dit proces volgens vaste procedures. 

De AIV/CAVV is van mening dat dit proces ook moet worden gerekend tot de loop, de 
zogenaamde wider loop. 

Een tweede kanttekening betreft de menselijke betrokkenheid bij de selectie van doelen. 

Een wapen met autonome kritische functies (selectie en aanvallen van doelen) is zodanig 
geprogrammeerd, dat het bepaalde soorten doelen, en alleen die, zal aanvallen. Men kan 
daarbij denken aan vijandelijke vliegtuigen, tanks of inkomende raketten. Als het wapen wordt 
ingezet, bepaalt het programma op grond van algoritmes (instructies, softwareprogramma’s) 
welk individueel doel (dat behoort tot het geprogrammeerde soort doel), wordt geselecteerd 
en aangevallen. Daarnaast kent het programma van het wapen ook beperkingen ten aanzien 
van de duur van inzet en de omvang van het geografische gebied. Deze beperkingen 
ten aanzien van het soort doelen, de tijd en de ruimte zijn het resultaat van menselijke 
beslissingen. Deze beslissingen kunnen in verregaande mate de effectiviteit, rechtmatigheid 
en legitimiteit van de inzet bepalen. Het wapen maakt feitelijk geen keuze, maar voert 
bepaalde acties uit op grond van de door mensen geprogrammeerde regels en naar 
aanleiding van de signalen die de sensoren van het wapensysteem hebben waargenomen. In 
die zin is er dus wel degelijk sprake van menselijke betrokkenheid bij wapens waarbij de mens 
out of the loop in enge zin is, nadat het wapen is geactiveerd. In de wider loop neemt de mens 
zelfs een cruciale plaats in. Als de mens niet meer betrokken zou zijn bij het targeti ngproces 
(in de wider loop), dan zou de mens beyond the wider loop zijn. 11 In hoofdstuk IV wordt nader 
ingegaan op de rol van de mens bij de inzet van autonome wapens. 

Autonome wapens selecteren individuele doelen en vallen deze aan op basis van 
voorgeprogrammeerde kenmerken. Mensen hebben daardoor minder controle over de 
acties van een autonoom wapen nadat het wapen is geactiveerd, in vergelijking met 
wapens die voortdurend door mensen worden bediend zoals bij de geweerschutter of de 
gevechtspiloot tijdens een luchtgevecht. Dit heeft als belangrijk gevolg dat het zwaartepunt 
van de besluitvorming over het gebruik van geweld verschuift naar een eerder moment 
in het besluitvormingsproces. De definitieve beslissing over geweldsgebruik wordt niet 
meer genomen vlak voor de aanval op het doel door degene die het wapen bedient, maar 
eerder, namelijk op het moment dat besloten wordt het autonome wapen in te zetten en te 
activeren. 

De commandant die daartoe besluit moet daarom beschikken over gedegen kennis van 
de risico’s van inzet. Hierbij ligt de nadruk op de beoordeling of het wapen in de gegeven 
context kan opereren binnen de kaders van het internationaal recht en ethische beginselen. 
De commandant moet bijvoorbeeld begrijpen hoe groot de kans is dat de waarnemingen van 
de sensors verkeerd worden geïnterpreteerd door het systeem en of de parameters van de 
software ruimte laten om verkeerde doelen aan te vallen. Dat veronderstelt dat de acties van 
het autonome wapen en de gevolgen voldoende voorzienbaar zijn. Dit stelt hoge eisen aan 
onder meer het ontwerp van het systeem, de beproeving ervan in verschillende inzetsituaties 
en de opleiding en training van commandanten en bedienaars. Een commandant moet weten 
in welke situaties of omstandigheden onzekerheid bestaat over de acties die het wapen 
zal ondernemen nadat het is geactiveerd. Dat is vooral afhankelijk van de context waarin 
inzet van het wapen plaatsvindt. In een omgeving waarin alleen militaire doelen aanwezig 
zijn, is onzekerheid over de acties die het autonome wapen mogelijk zal uitvoeren minder 


11 S. Welsh, Machines with guns: debating the future of autonomous weapons systems, The Conversation 
12 april 2015. Zie: <https://theconversation.com/machines-with-guns-debating-the-future-of-autonomous- 
weapons-systems-39795>. Geconsulteerd op 27 augustus 2015. 
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problematisch dan in een omgeving waarin zich ook burgers bevinden. Als een autonoom 
wapen niet geschikt is voor een specifieke situatie, dan zou een commandant moeten afzien 
van inzet. Als de commandant het wapen toch inzet, dan kan hij daarvoor aansprakelijk 
worden gesteld. Dit aspect komt aan de orde in hoofdstuk III. 

Definitie autonoom wapen 

In dit advies wordt met een autonoom wapen bedoeld: 


Een wapen dat zelfstandig doelen, die voldoen aan voorgeprogrammeerde kenmerken, 
selecteert en aanvalt, nadat mensen hebben besloten het wapen in te zetten en waarbij een 
mens niet meer kan ingrijpen om de aanval te stoppen. 12 


Het gaat dus om wapensystemen met autonome functies voor de selectie van en aanval op 
individuele doelen, zonder menselijke betrokkenheid in de loop in enge zin. Van de hiervoor 
genoemde categorieën wapens valt alleen de derde categorie ( human out of the loop) binnen 
deze definitie van autonome wapens. Deze definitie van autonome wapens omvat wapens 
die geschikt zijn voor inzet op de zee, onder water, op het land, in de lucht of in de ruimte. 

Het genoemde bredere targetlngproces, de wlder loop, komt verder aan de orde in hoofdstuk 
IV over betekenisvolle menselijke controle. 

1.2 Militaire voordelen en beperkingen van (wapens met) autonome functies 13 

Voor de partij die wapens met autonome functies inzet, kan dit diverse voordelen hebben. 
Elektronische apparatuur kan sneller dan mensen gegevens verzamelen en verwerken. Soms 
is snelheid van handelen essentieel. Een schip kan zich niet tegen inkomende raketten 
verdedigen zonder een autonoom systeem dat zelfstandig vijandelijke raketten detecteert 
en uitschakelt, zoals de Goalkeeper doet. Ook kunnen systemen met autonome functies 
opereren waar mensen dat niet of moeilijk kunnen of alleen met groot gevaar voor eigen 
leven. Een voorbeeld is de ruimte of diep onder water, waar mensen alleen aanwezig kunnen 
zijn met diverse voorzieningen vanwege de hoge druk en het gebrek aan zuurstof. Autonome 
wapens kunnen ook opereren in omgevingen waar communicatie moeilijk of onmogelijk is. 
Het wapen kan dan toch een taak uitvoeren, zonder nadere instructies te ontvangen. Voorts 
maakt inzet van autonome wapens inzet van militairen in zeer risicovolle omstandigheden 
deels overbodig. Zo lopen eigen militairen minder risico. Inzet van autonome wapensystemen 
kan het aantal slachtoffers onder eigen troepen en onder de burgerbevolking beperken. 

Het gebruik van precisie geleide munitie in combinatie met automatisch werkende doel- 
identificatieradars en andere autonome functies heeft de mens grotere controle gegeven 
over het gebruik van geweld tijdens conflicten (precisie inzet in plaats van carpet bombing). 14 
Human Rights Watch heeft zelfs gesuggereerd dat het niet gebruiken van dit type munitie in 


12 Hoewel er (nog) geen internationale overeenstemming over definities is, weerspiegelt deze omschrijving 
de definities die gebruikt worden door verschillende internationale organisaties waaronder Human 
Right Watch, ICRC, de Special Rapporteur on Extrajudicial, Summary or Arbitrary Executions en het U.S. 
Department of Defense. Zie ook: P. Scharre en M.C. Horowitz, an introduction to autonomy in weapon 
systems, working paper February 2015, Center for a New American Security, Appendix A. 

13 ICRC, Autonomous weapon systems: technical, military, legal and humanitarian aspects, expert meeting, 
Geneva, Switzerland, 26-28 March 2014, pp. 17-18 en pp. 69-71. 

14 Koplow, Death by Moderation: The U.S. Military’s Quest for Useable Weapons. Cambridge, New York, 2010. 
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bewoonde gebieden een oorlogsmisdaad zou kunnen zijn. 15 

De mens beschikt evenwel over vaardigheden die autonome systemen (nog) niet bezitten. 

Het is daarom niet altijd effectiever of efficiënter om taken te laten vervullen door systemen 
met autonome functies. Soms is het mogelijk systemen geheel zelfstandig te laten opereren, 
maar zijn de gevolgen van eventuele fouten te groot om het systeem zo te ontwerpen. 
Bradshaw c.s. 16 noemen het voorbeeld van de Mars-verkenner. Deze had ontworpen kunnen 
worden als een autonoom systeem, maar als er iets fout zou gaan, dan zou de hele kostbare 
missie zijn mislukt. Daarom werd gekozen voor een systeem dat door mensen bij te sturen is. 

Bradshaw c.s. bespreken de beperkingen van autonome systemen, deels op basis 
van de ervaringen met geautomatiseerde systemen. Vaak wordt verondersteld dat 
een geautomatiseerd systeem een apparaat is dat zonder meer kan worden ingezet. 
Automatisering of invoering van autonome functies heeft echter vaak vergaande gevolgen 
voor de organisatie. Een autonoom systeem kan goed functioneren in een bepaalde 
context, maar niet in een andere. Als mensen de beperkingen van het systeem onvoldoende 
doorgronden, dan is de effectiviteit van de inzet van het systeem suboptimaal. Autonome 
systemen hebben bepaalde voordelen, maar mensen ook. Mensen hebben een rijk begrip 
van hun omgeving en kunnen menselijk gedrag begrijpen en inschatten. Dat verschil zal in 
de nabije toekomst blijven bestaan. Een goed ontwerp van een (semi-)autonoom systeem 
combineert de voordelen van autonome functies met de specifieke vaardigheden van de 
mens. Meer autonome functies is niet zonder meer beter. 17 

Inzet van autonome systemen leidt ook tot veranderingen in de taken van mensen. Dat 
vraagt andere vaardigheden. Als een commandant moet beslissen over de inzet van een 
autonoom wapen, dan moet hij goed begrijpen welke acties het wapen kan uitvoeren in de 
gegeven situatie. Hij moet dus goed opgeleid en getraind zijn en voldoende kennis hebben 
van het systeem en de interactie met de omgeving waarin het wordt ingezet. Autonome 
functies leiden bovendien niet zonder meer tot minder werk, omdat vaak nieuwe taken 
mogelijk worden. Er ontstaan nieuwe capaciteiten en er ontstaat nieuw werk. Er is dan vaak 
ook behoefte aan mensen met nieuwe of andere vaardigheden. 

Autonome systemen worden vrijwel altijd ingezet in samenhang met andere systemen en 
mensen die van elkaar afhankelijk zijn. Dat vereist coördinatie tussen al deze spelers. 
Bradshaw c.s. concluderen dan ook dat de grote uitdaging niet is gelegen in het verbeteren 
van de autonome functies van systemen, maar in het mogelijk maken van samenwerking 
tussen enerzijds autonome systemen en anderzijds andere systemen en mensen. Daarover 
bestaat nog weinig kennis en inzicht. 

1.3 Mogelijke toekomstige inzet van autonome wapensystemen 

Het is nog niet duidelijk welke taken autonome wapens in de toekomst zouden kunnen 
vervullen. De bestaande wapensystemen met autonome functies geven echter een indicatie 


15 Human Rights Watch, Ukraine: Unguided rockets Killing Civilians, 24 juli 2014. Zie: <www.hrw.org/ 
news/2014/07/24/ukraine-unguided-rockets-killing-civilians>. 

16 J.M. Bradshaw, R.R. Hoffman, M. Johnson. D.D. Woods, The seven deadly myths of ‘autonomous 
systems’, IEEE Intelligent Systems 2013, Vol. 28, Issue No. 03 May-June, pp. 54-61. 

17 Zie bijvoorbeeld: United States Air Force, Autonomous Horizons: System Autonomy in the Air Force - A 
Path to the Future (Volume I: Fluman-Autonomy Teaming), June 2015. 
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welke soorten taken zij het meest waarschijnlijk zouden kunnen verrichten. Ook geeft 
de stand van zaken ten aanzien van de ontwikkeling van kunstmatige intelligentie een 
indicatie van de mogelijkheden die de invoering van autonome wapens zou bieden en welke 
beperkingen aan de invoering van nieuwe generaties autonome wapens zouden kleven. 
Echter, gezien de relatief snelle ontwikkeling in de technologie blijven zulke voorspellingen 
speculatief en moeten deze met de nodige voorzichtigheid worden gedaan, als men verder 
dan tien jaar in de toekomst kijkt. 

Het is zeer onwaarschijnlijk dat autonome wapensystemen de rol van de mens op het slagveld 
volledig of substantieel zullen overnemen. De aard van moderne conflicten compliceert de 
inzet van deze wapensystemen. Het gaat immers steeds vaker om conflicten waarbij militaire 
doelen zich bevinden in gebieden met veel burgers en waarbij partijen bij het conflict zich vaak 
opzettelijk niet duidelijk onderscheiden van hen die niet aan de strijd deelnemen. Inzet van 
autonome wapens is dan meestal problematisch. Als het winnen van de hearts and minds van 
de bevolking het doel is, zullen autonome wapens naar verwachting eveneens een geringe rol 
spelen. Autonome wapensystemen zullen waarschijnlijk worden ontwikkeld en ingezet voor 
het verrichten van specifieke taken en naast militairen en bestaande wapensystemen en 
andere militaire en civiele technologie worden ingezet. Dit was en is het geval met eerdere 
ontwikkelingen in de militaire technologie en er is op voorhand geen reden om aan te nemen 
dat dit voor autonome wapens anders zou zijn. De invoering van het luchtwapen heeft immers 
de rol van grondtroepen niet vervangen. De intrede van onbemande luchtvaartuigen ( drones) 
heeft niet geleid tot het afschaffen van bemande gevechtsvliegtuigen en helikopters en lijkt 
dat voor de komende decennia ook nog niet te zullen doen. 

Diverse militaire wapensystemen beschikken over autonome functies, maar zijn geen 
autonome wapens. De bestaande wapensystemen met autonome functies zijn vooral 
geschikt voor het verrichten van specifieke en vooraf bepaalde taken binnen een redelijk 
overzichtelijke omgeving. Systemen zoals een Close in Weapons System (onder meer de 
Goalkeeper) en het Israëlische kon Dome Mobile Air Defence System zijn ontworpen om 
specifieke soorten dreigingen te neutraliseren en worden ingezet in situaties waar de 
kans op onvoorspelbare ontwikkelingen en ongewenste neveneffecten minimaal tot vrijwel 
uitgesloten is. Ze zijn gericht op het neutraliseren van vijandelijke projectielen en raketten. 
Een ander voorbeeld is de Zuid Koreaanse Samsung SGRA1 Sentry Robot, die mensen 
kan uitschakelen. Het systeem heeft een volautomatische modus en wordt ingezet in de 
Gedemilitariseerde Zone tussen Noord-Korea en Zuid-Korea, waar het zoekt naar indringers. 
Dit grensgebied tussen beide landen is afgesloten voor burgers. Het systeem kan dieren 
van mensen onderscheiden en kan herkennen wanneer een indringer zich overgeeft (armen 
omhoog) en vuurt dan niet. Het systeem kent ook een - doorgaans gebruikte - modus 
waarbij een mens volledig in controle blijft over het gebruik van geweld. 

Grondsystemen zoals de Israëlische Guardium Autonomous Unmanned Ground Vehicle kunnen 
zowel in automatische als op afstand bediende modus opereren. Dit systeem is uitgerust 
met diverse sensoren en is bewapend met zowel dodelijke als niet-dodelijke wapens en 
wordt al enige jaren gebruikt door de Israëlische krijgsmacht en paramilitaire grenspolitie 
voor grenspatrouille en perimeterverdediging. Vergelijkbare systemen worden ontwikkeld 
door een aantal andere landen en zijn bestemd voor diverse taken, waaronder opruiming 
van landmijnen en improvised Explosive Devices, verkenning, logistieke ondersteuning en in 
sommige gevallen het verlenen van vuursteun. Ook bij deze systemen worden, voor zover zij 
daarover beschikken, alle wapens door mensen op afstand bediend waardoor deze systemen 
niet zelfstandig doelen selecteren en aanvallen. 

Ook op zee worden diverse typen Unmanned en Autonomous Underwater en Surface Vehicles 
door diverse marines gebruikt of ontwikkeld voor taken zoals verkenning, zeemijnopsporing 
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en zeemijnopruiming, onderzeebootdetectie en oceanografisch onderzoek. Voorbeelden 
zijn het Israëlische Protector Unmanned Surface Vehicle, een op afstand bediend bewapend 
onbemand oppervlaktevaartuig dat onderscheppings- en opsporingstaken verricht, het 
Noorse Pluto Plus Autonomous Underwater Vehicle voor onderwater zeemijnopsporing en 
vernietiging en het Amerikaanse Navy Bluefish/Knifeflsh Autonomous Underwater Vehicle, 
dat verschillende taken zoals zeemijnopruiming, verkenning, zeeonderzoek en Search and 
Rescue kan verrichten. Naast deze soorten platforms en systemen voor de verdediging 
van een gebied (perimeter verdedigingssystemen) zijn er diverse typen geleide munitie in 
omloop of in ontwikkeling. Alle zijn geprogrammeerd om een specifiek soort doelwit binnen 
een vooraf geprogrammeerd gebied aan te vallen, dan wel een doelwit op een vooraf 
geselecteerde positie. 

Ook ontstaat een nieuwe generatie onbemande gevechtsvliegtuigen die erop gericht zijn om 
surveillance en aanvallen uit te voeren. Verschillende landen zijn bezig met de ontwikkeling 
van deze zogenaamde Unmanned CombatAerial Vehicles. 18 Het Amerikaanse bedrijf Northrop 
Grumman werkt bijvoorbeeld aan het Unmanned Carrier-Launched Airborne Surveillance 
and Strike systeem X-47B. Dit systeem verkeert nog in de testfase, maar is al succesvol 
gebleken in het autonoom bijtanken tijdens de vlucht, autonoom uitvoeren van ontwijkende 
manoeuvres, autonoom identificeren van een doel en het autonoom opstijgen en landen van 
een vliegdekschip. 19 

Aan de hand van deze voorbeelden lijkt het waarschijnlijk dat autonome systemen in de 
nabije toekomst onder meer voor soortgelijke taken zullen worden gebruikt. Voor zover zulke 
systemen bewapend zijn, worden mensen in/on the loop gehouden met uitzondering van 
de Harpy en enkele vergelijkbare systemen. De systemen die ontworpen zijn voor perimeter 
verdediging, verrichten taken waarbij de reactietijd voor een mens te kort is om een doel 
te selecteren. Het systeem is echter niet in staat zelfstandig andere dan de geselecteerde 
taken in een vooraf geprogrammeerd gebied te verrichten. De dreigingen die dit soort 
systemen het hoofd bieden zijn zeer specifiek en de omgevingen waarin zij opereren zijn zo 
overzichtelijk dat de kans op fouten of op ongewenste of onvoorzienbare neveneffecten zeer 
gering is. Dat neemt niet weg dat elk wapen kan worden ingezet in een context waarvoor 
het niet is bedoeld en dat zodoende het humanitair oorlogsrecht kan worden geschonden of 
ethische vragen kunnen rijzen. Ook kunnen - evenals bij inzet van wapens zonder autonome 
functies - menselijke fouten worden gemaakt. 

Dat bestaande systemen voor specifieke taken worden ontworpen en ingezet sluit andere 
taken voor toekomstige systemen niet uit. Niettemin geven de bestaande systemen 
een redelijke indicatie van het soort taken dat autonome wapens waarschijnlijk zullen 
verrichten in de komende tien jaar. Computersystemen (die het ‘denkend’ vermogen van 
deze systemen vormen) zijn zeer goed in staat om gegevens en kwantitatieve data snel en 
accuraat te verwerken. Ze zijn in toenemende mate in staat om taken uit te voeren zoals 
navigatie, zelfstandige besturing van voer-/vaar-/vliegtuigen en identificatie van bepaalde 
objecten en personen. Zij zijn veel minder goed dan mensen in contextueel en kwalitatief 
redeneren. Wellicht zullen deze beperkingen op de langere duur deels worden weggewerkt, 


18 Het Verenigd Koninkrijk heeft een systeem genaamd Taranis, de Verenigde Staten noemen hun stealth 
drone X-47B, een Europees prototype is genaamd nEUROn en vergelijkbare systemen in Rusland en 
China zijn genaamd MiG Skat en Anjian (Dark Sword). 

19 Multinational Capability Development Campaign, ‘Proceedings Report Autonomous Systems Focus 
Area’ (2014) 6. 
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maar dat zal hoogstwaarschijnlijk niet op korte of zelfs middellange termijn (en wellicht nooit 
helemaal) gebeuren. 

Een ontwikkeling op het gebied van autonome (wapen)systemen die naar verwachting 
het komende decennium operationeel kan zijn is s warming, zwermen van kleine, relatief 
goedkope autonome systemen. Zij kunnen in combinatie met bemande systemen worden 
ingezet. Inzet van een zwerm kan het aantal sensoren en wapens aanzienlijk vergroten. 20 Zij 
kunnen door hun grote aantal de capaciteit van verdedigingssystemen te boven gaan, ook al 
is de capaciteit van een enkel autonoom systeem beperkt. Individueel volgen de autonome 
systemen simpele regels en zijn ze relatief zwak, maar de swarm kan complexe taken 
uitvoeren en is effectief. Deze ontwikkeling past in het optreden van moderne krijgsmachten. 
In Nederland is onder meer de TU Delft actief op het gebied van swarming (het TU Delft 
Robotics Institute). 21 

Mogelijke strategische gevolgen 

Naast juridische en ethische vragen met betrekking tot (volledig) autonome wapensystemen 
rijst de vraag wat de mogelijke strategische gevolgen van deze wapensystemen kunnen 
zijn in het kader van crisisbeheersing. Het betreft onder meer de gelijktijdige inzet van een 
aantal autonome wapensystemen in een dynamische omgeving waarbij zeer snelle interactie 
tussen de wapensystemen onvoorziene gevolgen zou kunnen hebben. In dit verband wordt 
wel de vergelijking met de flash crash 22 op de Amerikaanse aandelenmarkt van 6 mei 2010 
gemaakt. Naar analogie wordt wel het beeld van mogelijke flash wars opgeroepen, waarbij de 
onbedoelde interactie tussen de algoritmes van autonome wapens onbedoelde gevolgen zou 
kunnen hebben. Autonome wapens zouden kunnen worden uitgerust met een zogenaamde 
fail safe voorziening om de gevolgen van onbedoeld gedrag te beperken. 23 Een fait safe 
voorziening houdt in dat het autonome wapen over een mechanisme beschikt dat het wapen 
zelfstandig uitschakelt in geval het wapen niet naar wens functioneert. Anderzijds kunnen 
sommige autonome wapensystemen, zoals autonome lucht- en raketverdedigingssystemen, 
ook een stabiliserend effect hebben, omdat ze de voordelen van preventieve aanvallen 
verminderen en afschrikking vergroten. 

Ongewenste gevolgen op strategisch en politiek niveau kunnen ontstaan als de snelheid van 
de acties op het gevechtsveld niet meer bij te houden is door de besluitvormers op militair 
en politiek niveau. Er zou dan een situatie kunnen ontstaan waarin een hoge mate van 
automatisering en autonomie bij het gebruik van geweld het risico heeft van het ontstaan 
van flash wars. Dit onderstreept de noodzaak dat de mens altijd in the wider loop moet zijn 
bij cruciale besluiten over geweldstoepassing, vooral als het gaat om besluiten die potentieel 
een escalerend effect hebben. 


20 P. Scharre, Robotics on the Battlefield part II The Coming Swarm, Oktober 2014, Centre for a New 
American Security. 

21 Zie: <http://robotics.tudelft.nl/?q=content/research-themes-projects>. 

22 Op 6 mei 2010 verloor de Dow Jones Index in enkele minuten bijna 10% van zijn waarde. De markt 
herstelde zich zeer snel. Onderzoek naar de oorzaken van de koersdalingen wees uit dat een 
automatisch verkoopalgoritme van een grote institutionele belegger in zeer korte tijd grote aantallen 
aandelen had aangeboden. Zie: <http://www.theguardian.com/business/2015/apr/22/2010-flash- 
crash-new-york-stock-exchange-unfolded>. Geconsulteerd op 2 september 2015. 

23 P. Scharre, Presentation at the United Nations Convention on Certain Conventional Weapons. 
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Of de ontwikkeling van autonome wapens de drempel voor geweldsgebruik al dan niet zal 
verlagen is naar de mening van de AIV/CAVV vooralsnog onvoldoende wetenschappelijk 
bestudeerd. Het voeren van vijandelijkheden op afstand om zo de kwetsbaarheid van eigen 
militairen te reduceren, is niet uniek voor de inzet van autonome wapens, maar speelt al 
zolang oorlogvoering bestaat. Het beperken van risico’s voor eigen militairen is immers 
een belangrijke verantwoordelijkheid van een regering van een land. Maar bij veel moderne 
conflicten zal, zoals hiervoor opgemerkt, de inzet van autonome wapens problematisch zijn. 
Conflicten zullen zelden beslecht kunnen worden zonder (grootschalige) inzet van militairen 
in risicovolle omstandigheden. Daarom zullen parlementen vermoedelijk niet eerder dan 
nu overgaan tot de inzet van de krijgsmacht, als gevolg van de ontwikkeling van autonome 
wapens. De drempel voor gebruik van geweld door groeperingen die zich niet aan het 
internationaal recht houden, zou wellicht wel lager zijn. 

1.4 Mogelijke ontwikkelingen op langere termijn: volledig autonome wapensystemen 

Ontwikkelingen met betrekking tot autonome wapens op langere termijn worden vooral 
bepaald door ontwikkelingen ten aanzien van kunstmatige intelligentie. Kunstmatige 
intelligentie is moeilijk te definiëren en zeer complex. 24 Niettemin wordt vaak onderscheid 
gemaakt tussen drie soorten kunstmatige intelligentie: beperkte kunstmatige intelligentie, 
algemene kunstmatige intelligentie en kunstmatige superintelligente. 

Kunstmatige intelligentie vindt al ruime toepassing, maar meestal slechts in bepaalde 
functies van apparatuur. Dit wordt beperkte kunstmatige intelligentie genoemd. Voorbeelden 
zijn het anti-blokkeersysteem voor de remmen van een auto, een spamfilter voor e-mail, 
systemen die voorkeuren van een internetgebruiker bijhouden en dan passende advertenties 
aanbieden, zoekmachines voor het internet et cetera. Een geavanceerde vorm is de 
schaakcomputer die de wereldkampioen schaken kan verslaan (Deep Blue), maar die niets 
anders kan. 25 De wereldkampioen schaken daarentegen kan wel veel andere functies 
vervullen. Bestaande wapens met autonome functies beschikken over beperkte kunstmatige 
intelligentie: zij zijn in staat zelfstandig te navigeren, doelen te selecteren en deze aan te 
vallen. Voor deze functies beschikken deze wapens over intelligente componenten. 

Algemene kunstmatige intelligentie is een niveau van kunstmatige intelligentie dat op gelijk 
niveau met de mens zou staan. Dat zou in beginsel kunnen worden gecreëerd door een groot 
aantal computers met beperkte kunstmatige intelligentie te combineren, maar in de praktijk 
is dat nog niet gerealiseerd. De ontwikkeling van systemen met algemene kunstmatige 
intelligentie vormt een grote uitdaging. Terwijl computers snel en nauwkeurig zeer complexe 
berekeningen kunnen uitvoeren, hebben ze grote moeite met taken die mensen zonder 
nadenken uitvoeren. Computers kunnen moeilijk betekenissen begrijpen, mensen zijn 
veel beter in het interpreteren van waarnemingen (beeld, geluid). Computers hebben veel 
meer rekenkracht nodig dan nu beschikbaar is om systemen met algemene intelligentie te 
realiseren. Ook is meer inzicht in de werking van het menselijk brein nodig om machines te 
voorzien van algemene kunstmatige intelligentie. De schattingen over de termijn waarbinnen 


24 P.W. Singer, Wired for War, Penguin Books, New York, 2009, pp. 75-77. Zie ook: Luc Steels, 
Computers zijn nog net zo dom als dertig jaar geleden, Vrij Nederland, 25 juli 2015. 

25 Volgens Luc Steels is het verraderlijke van Al dat ‘als iets er eenmaal is, noemen we het geen Al meer’. 
Ooit hielden we het voor onmogelijk dat computers grootmeesters zouden verslaan bij schaken. Nu 
vinden we het zo vanzelfsprekend dat we zeggen: zo intelligent is dat niet. Luc Steels, ‘Computers zijn 
nog net zo dom als dertig jaar geleden', Vrij Nederland, 25 juli 2015. 
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algemene kunstmatige intelligentie kan worden gerealiseerd, lopen sterk uiteen. De 
gemiddelde schatting is enkele decennia. 

Kunstmatige superinteliigentie overstijgt de intelligentie van mensen. De mens is dan niet 
meer in staat te doorgronden wat een machine (met superintelligente) kan doen en wat de 
gevolgen zijn van de acties van die machine voor mensen. Mogelijk kan een systeem met 
superintelligente mensen gaan overvleugelen en dat schrikbeeld jaagt velen angst aan. 
Autonome wapens met superintelligente zouden immers een bedreiging voor de mensheid 
kunnen vormen. De Zweedse natuurkundige en filosoof Bostrom stelt dat het noodzakelijk 
is nu te onderzoeken hoe dergelijke systemen onder menselijke controle kunnen blijven. 26 
Als een wapen in staat zou zijn doelen te selecteren en aan te vallen die niet vooraf zijn 
geprogrammeerd, dan zou dat wapensysteem over een zeer hoge mate van kunstmatige 
intelligentie moeten beschikken en een lerend vermogen moeten hebben ( machine iearning). 
Door het systeem grote aantallen voorbeelden te laten analyseren, zou het mogelijk zelf 
gedragsregels kunnen formuleren. Met nieuwe technieken wordt het misschien in de 
toekomst mogelijk dat wapensystemen zich kunnen aanpassen aan een dynamische 
omgeving. 

Men zou kunnen spreken van een autonoom wapen waarbij de mens beyond the wider loop 
is, als dit wapen zelf besluiten neemt op basis van regels die het leert of zelf maakt en een 
doel selecteert en een aanval uitvoert zonder dat daar menselijke intentie aan ten grondslag 
lag. 27 Een dergelijk wapensysteem zou geheel aan menselijke controle ontsnappen. De 
AIV/CAVV duidt deze wapens aan met het begrip volledig autonome wapens. Er zou een 
aanzienlijke ontwikkeling ten aanzien van kunstmatige intelligentie noodzakelijk zijn om dit 
mogelijk te maken, als dit al lukt. De AIV/CAVV acht het niet waarschijnlijk dat de komende 
decennia volledig autonome wapens worden ontwikkeld met het oogmerk om zonder enige 
menselijke controle te functioneren. Dan zou immers sprake zijn van wapens die zodanig 
geprogrammeerd zijn dat ze het gehele targeting proces zelfstandig uitvoeren, vanaf het 
formuleren van het te realiseren militaire doel tot en met het bepalen van de plaats en 
tijd van inzet. Daarmee zou de mens niet langer controle uitoefenen over de inzet van het 
autonome wapen. De AIV/CAVV acht het niet waarschijnlijk dat een staat een dergelijk 
wapen zou willen (laten) ontwikkelen, nog afgezien van de vraag of dit technisch mogelijk is. 

Toch zou de toenemende complexiteit van autonome systemen ertoe kunnen leiden dat 
menselijke controle ten dele of grotendeels verloren gaat. Omdat de mogelijkheid dat dit 
gebeurt niet kan worden uitgesloten, moet deze mogelijkheid naar de mening van de AIV/ 
CAVV serieus worden genomen. Daarom is het belangrijk dat staten de ontwikkelingen op 
het gebied van kunstmatige intelligentie en robotica nauwgezet blijven volgen. 


26 Zie het interview met N. Bostrom in de Volkskrant van 8 mei 2015: Kan de mens worden uitgeroeid 
door machines? Zie: <http://www.volkskrant.nl/wetenschap/kan-de-mens-worden-uitgeroeid-door- 
machines~a4009311/>. Geconsulteerd op 28 augustus 2015. 

27 S. Welsh, Machines with guns: debating the future of autonomous weapons systems, The Conversation 
12 april 2015. Zie: <https://theconversation.com/machines-with-guns-debating-the-future-of- 
autonomous-weapons-systems-39795>. Geconsulteerd op 27 augustus 2015. 
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Het juridische kader voor de toelaatbaarheid en inzet 
van autonome wapens 


Dit hoofdstuk behandelt de vraag of het huidige volkenrechtelijk kader autonome wapens 
toestaat en welke beperkingen het internationaal recht stelt aan de inzet van deze 
wapens. In de eerste paragraaf wordt de vraag beantwoord onder welke omstandigheden 
het gebruik van geweld door staten gerechtvaardigd is en of dat anders is als autonome 
wapens worden ingezet. In de tweede paragraaf komt de vraag aan de orde welke 
rechtsregimes binnen het internationaal recht beperkingen opleggen aan staten indien zij 
geweld gebruiken. Het internationaal recht verbiedt bepaalde soorten wapens. In de derde 
paragraaf wordt onderzocht of autonome wapens vallen onder één van de categorieën 
verboden wapens. In de vierde paragraaf komt aan de orde welke soorten doelen mogen 
worden aangevallen. In de vijfde paragraaf wordt besproken of de inzet van autonome 
wapens kan voldoen aan de eisen van het internationaal recht. 

II. 1 Rechtsbases voor het gebruik van interstatelijk geweld en autonome wapens 

In eerdere adviezen van de AIV en de CAVV is het volkenrechtelijk kader voor het gebruik 
van interstate lijk geweld (het ius ad/contra bellum) uiteengezet. 28 Kort samengevat houdt 
dit kader het volgende in. Het gebruik van geweld in de internationale betrekkingen is 
verboden, tenzij een staat een aannemelijk beroep kan doen op één of meer van de 
erkende uitzonderingen op dit verbod. Deze erkende grondslagen zijn: (1) een mandaat 
van de VN-Veiligheidsraad om geweld te autoriseren in het kader van handhaving of herstel 
van de internationale vrede en veiligheid, (2) individuele of collectieve zelfverdediging van 
één of meer staten tegen een gewapende aanval of (3) geldige toestemming van een 
andere staat om geweld te gebruiken binnen zijn territoir. Bij alle drie erkende grondslagen 
gelden aanvullende eisen. Zo is een beroep op zelfverdediging alleen mogelijk in geval 
van een (onmiddellijk dreigende) gewapende aanval. Geweldsgebruik op grond van een 
mandaat van de VN-Veiligheidsraad moet passen binnen de voorwaarden en doelstellingen 
van het verleende mandaat. Bij ieder interstate lijk gebruik van geweld zijn de beginselen 
van noodzakelijkheid, proportionaliteit en onmiddellijkheid ad bellum van toepassing. Bij 
zelfverdediging moet het geweld noodzakelijk zijn om de (onmiddellijk dreigende) aanval af 
te weren en het geweld moet proportioneel zijn. 29 

Deze regels inzake het interstate lijk gebruik van geweld zijn van toepassing op ieder 
gebruik van geweld in de internationale betrekkingen, ongeacht het soort wapens dat wordt 
ingezet. Dit geldt dus ook voor een wapensysteem dat een grotere of kleinere mate van 
autonomie zou bezitten. 

Het hangt af van de relevante omstandigheden of een specifiek gebruik van geweld 
al of niet rechtmatig is, bij een beroep op één van deze erkende grondslagen voor het 
gebruik van geweld. Dat staat in beginsel los van de aard van het wapensysteem dat 
wordt ingezet. Als de VN-Veiligheidsraad een mandaat verleent om alle noodzakelijke 
maatregelen aan te wenden om een bedreiging van de vrede, schending van de vrede of 


28 CAVV, Advies inzake bewapende drones, advies nr. 23, Den Haag, juli 2013. AIV en CAVV, Digitale 
oorlogvoering, nr. 77 AIV/nr. 22 CAVV, Den Haag, december 2011. 

29 Ibid, pp. 18-19. 
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daad van agressie tegen te gaan, dan zal de inzet van een specifiek wapensysteem (al 
of niet autonoom) worden getoetst aan de vraag of de inzet ervan binnen het mandaat 
past. Slechts in uitzonderlijke gevallen wordt de rechtmatigheid van het geweldsgebruik 
beïnvloed door de keuze van het ingezette wapen. Bijvoorbeeld de inzet van nucleaire 
wapens in antwoord op een minder dan massale conventionele aanval zou vrijwel altijd 
worden beoordeeld als disproportioneel en daarom als onrechtmatig. Bovendien zijn 
bepaalde wapens onderworpen aan het regime van het wapenbeheersingsrecht dat 
sommige wapens ofwel totaal verbiedt (bijvoorbeeld chemische en biologische wapens) of 
ze zijn aan specifieke beperkingen gebonden, waardoor bezit of inzet een schending van 
dat regime zal betekenen. Echter in de regel is de rechtmatigheid van de inzet van een 
specifiek wapen niet een zaak die door het ius ad bellum wordt geregeld. In ieder geval kan 
worden geconcludeerd dat ieder gebruik van geweld onderworpen is aan dezelfde regels, 
ongeacht het soort wapen dat wordt ingezet. 

II.2 Toepasselijke rechtsregimes bij geweldgebruik en autonome wapens 

Naast een geldige rechtsbasis vereist ieder gebruik van geweld dat conform het 
toepasselijke rechtsregime wordt gehandeld. De rechtsbasis heeft betrekking op de 
vraag of geweld mag worden aangewend en het rechtsregime reguleert hoe, waar, 
tegen wie (en welk) geweld mag worden ingezet. Er zijn (afgezien van specifieke 
wapenbeheersingsverdragen) twee rechtsregimes die het gebruik van geweld reguleren: 
het humanitair oorlogsrecht en de rechten van de mens. 

Het regime van het humanitair oorlogsrecht is alleen van toepassing in situaties van 
gewapend conflict en reguleert onder andere het voeren van vijandelijkheden. Dit omvat 
de toepassing van de middelen en methoden van oorlogvoering (gevechtshandelingen) 
in situaties waarin er geen sprake is van gezagsuitoefening of effectieve controle over 
territoir of personen en feitelijke vijandelijkheden zich voordoen of vereist zijn om een 
legitiem militair doelwit uit te schakelen ofte neutraliseren. Het humanitair oorlogsrecht 
bevat een uitgebreid stelsel van regels en beginselen en is specifiek ontworpen om dit 
soort situaties te reguleren. 

Het materiële, geografische, temporele en persoonlijke toepassingsbereik van het 
humanitair oorlogsrecht is uitvoerig besproken in eerdere adviezen van de AIV/CAVV. 30 
De soorten gewapend conflict (internationaal, dat wil zeggen tussen twee of meer staten 
of niet-internationaal, dat wil zeggen tussen een regering en één of meer georganiseerde 
gewapende groeperingen of tussen zulke groeperingen onderling binnen een staat), zijn 
eveneens eerder besproken. 31 

Het regime van de rechten van de mens reguleert rechtshandhaving. Dit kan voorkomen 
zowel binnen als buiten de context van een gewapend conflict. Het betreft het uitoefenen van 
gezag over territoir of individuen gericht op het behoud en/of herstel van de openbare orde, 
het bestrijden van criminaliteit of andere onrechtmatige activiteiten buiten de context van het 
voeren van vijandelijkheden tijdens een gewapend conflict. Als rechtshandhaving plaatsvindt 
in de context van een gewapend conflict, dan is het regime van de rechten van de mens van 
toepassing naast het humanitair oorlogsrecht. Een voorbeeld is handhaving van de openbare 
orde in bezet gebied. Als geen sprake is van een gewapend conflict, dan is het regime van 


30 Idem. 

31 Zie bijvoorbeeld CAVV, Advies inzake bewapende drones, advies nr. 23, Den Haag, juli 2013, paragraaf 4.1. 
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de rechten van de mens het enige toepasselijke internationaal rechtsregime voor toepassing 
van geweld. Beide situaties zullen hieronder worden besproken voor zover zij betrekking 
hebben op de inzet van autonome wapensystemen. 32 

De twee regimes zijn in beginsel complementair. Zij vullen elkaar aan voor zover zij beide 
van toepassing zijn. Indien er sprake is van tegenstrijdigheid tussen specifieke bepalingen 
uit deze regimes, geldt de meest specifieke bepaling. Dit vloeit voort uit het /ex specialis 
derogat legi generali beginsel (hierna aangeduid als het /ex specialis beginsel). Dit beginsel 
houdt overigens niet in dat het andere regime in zijn geheel buiten werking wordt gezet. 

Het is een algemeen erkende interpretatiemethode om tegenstrijdigheden op te lossen 
tussen specifieke regels uit twee rechtsregimes of rechtsgebieden. Ook deze onderlinge 
relatie tussen het humanitair oorlogsrecht en de rechten van de mens is in eerdere 
adviezen besproken. 33 

Voor wat betreft het gebruik van autonome wapensystemen in het kader van 
rechtshandhaving binnen en buiten de context van een gewapend conflict kan worden 
volstaan met de conclusie dat de inzet van zulke systemen om specifieke individuen uit 
te schakelen buiten een situatie van gevechtshandelingen, bijvoorbeeld door de politie 
bij het handhaven van de openbare orde, vrijwel altijd in strijd zou zijn met het regime van 
de rechten van de mens. Onder dit regime is het toepassen van dodelijk geweld alleen 
toegestaan in nauw omschreven situaties en aan vergaande beperkingen onderworpen. 34 
De inzet van autonome wapens om dodelijk geweld toe te passen binnen deze context zou 
uiterst problematisch zijn en levert in tegenstelling tot sommige situaties bij het voeren van 
vijandelijkheden (bijvoorbeeld uitschakeling van inkomende projectielen) nauwelijks of geen 
voordeel op. Er zijn immers talrijke alternatieven voor het toepassen van dodelijk geweld door 
een autonoom wapensysteem binnen deze context, zoals arrestatie, en er is daarom geen 
noodzaak om autonome wapensystemen daarvoor in te zetten. Aan de andere kant zouden 
specifiek ontworpen autonome systemen juist wel (soms veel) voordeel kunnen opleveren 
in ondersteunende taken bij rechtshandhaving, zoals surveillance van afgelegen gebieden 
en toezicht houden op kwetsbare objecten zoals kritieke infrastructuur. Echter, indien het 
toepassen van dodelijk geweld bij rechtshandhaving absoluut vereist en onvermijdelijk is, 
zou dit altijd onder menselijke controle moeten staan. Dit is zo, vanwege de nog stringentere 
eisen die het regime van bescherming van de mensenrechten stelt aan het toepassen van 
dodelijk geweld in vergelijking met het humanitair oorlogsrecht en het feit dat het toepassen 
van deze criteria erg contextspecifiek is. Het is vrijwel uitgesloten dat een autonoom 
wapensysteem de komende decennia in staat zou zijn om deze afwegingen te maken in 
overeenstemming met de juridische eisen voor toepassing van dodelijk geweld binnen de 
mensenrechten. 


32 Zie ICRC Expert Meeting Report, G. Gaggioli (ed.) The Use of Force in Armed Conflicts: Interplay 
between the Conduct of Hostilities and Law Enforcement Paradigms, November 2013. Zie ook, Melzer, 
‘Conceptual Distinctions and Overlaps between Law Enforcement and Conduct of Hostilities' in T.D. Gill 
& D. Fleck (eds,) The Handbook of the International Law of Military Operations, Oxford University Press, 
2011, pp. 33 e.v. 

33 CAW, Advies inzake bewapende drones, advies nr. 23, Den Haag, juli 2013, paragraaf 4.1. 

34 Art. 6(1) Internationaal Convenant inzake Burger en Politieke Rechten; Art. 2 Europese Verdrag voor de 
Bescherming van de Rechten van de Mens. Zie ook Meizer noot 32 boven, pp. 36-37. 
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II.3 Zijn autonome wapens per se onrechtmatige wapens onder het 

humanitair oorlogsrecht? 

Er zijn globaal drie redenen onder het humanitair oorlogsrecht om bepaalde wapens 
te verbieden. Het humanitair oorlogsrecht verbiedt wapens als bij de inzet ervan geen 
onderscheid kan worden gemaakt tussen militaire doelen (personen en objecten) 
enerzijds en burgers en burgerobjecten anderzijds. Voorbeelden zijn bacteriologische 
wapens en bepaalde soorten mijnen en booby traps. Bacteriologische wapens zullen zich 
immers verspreiden en onvermijdelijk ook de burgerbevolking besmetten. 

Daarnaast zijn wapens verboden die onnodig leed en/of buitensporige verwondingen 
veroorzaken bij vijandige combattanten. Voorbeelden zijn munitie van handwapens die 
ontploft bij contact met het menselijke lichaam of laserwapens die permanente blindheid 
veroorzaken. 

Ten derde zijn wapens en methoden van oorlogvoering verboden waarvan de effecten 
niet kunnen worden beheerst op een wijze die het humanitair oorlogsrecht voorschrijft 
en die daarmee burgers en vijandige combattanten zonder onderscheid raken. Zo zou 
een computervirus dat ingezet wordt om het militair communicatiesysteem van een 
tegenstander uit te schakelen en daarbij eveneens het communicatiesysteem van 
noodhulpdiensten uitschakelt, een verboden wapen zijn omdat het niet mogelijk is om 
de effecten van de inzet te beheersen. Evenmin is het toegestaan om een gebouw in 
een bewoond gebied in brand te steken om vijandige strijders te dwingen het gebouw 
te verlaten. De brand zou zich immers gemakkelijk kunnen verspreiden naar andere 
gebouwen en is daarmee een verboden methode van oorlogvoering. 

Deze regels van het humanitair oorlogsrecht zijn regels van gewoonterecht 35 en vormen 
de basis voor het Verdrag inzake het verbod of de beperking van het gebruik van bepaalde 
conventionele wapens die geacht kunnen worden buitensporig leed te veroorzaken of een 
niet-onderscheidende werking te hebben ( Convention on Certain Conventional Weapons, 
CCW). Het verdrag bevat geen regels ten aanzien van specifieke wapens, maar bevat 
alleen algemene bepalingen over onder andere ratificatie, toetreding en inwerkingtreding. 
Het verdrag is een paraplu voor protocollen over specifieke wapens. Momenteel zijn er vijf 
protocollen: 

• Protocol I on Non-Detectable Fragments; 

• Protocol II on Prohibitions or Restrictions on the Use of Mines, Booby Traps and Other 
Devices; 

• Protocol III on Prohibitions or Restrictions on the Use of Incendiary Weapons; 

• Protocol IV on Blinding Laser Weapons; 

• Protocol V on Explosive Remnants of War. 

De partijen bij de CCW hebben in mei 2014 en april 2015 informele bijeenkomsten over 
autonome wapens gehouden. In november 2015 vindt de volgende jaarlijkse bijeenkomst 
plaats van de partijen bij het verdrag, waar zal worden besloten of, en op welke wijze, deze 
twee informele bijeenkomsten een vervolg zullen krijgen. 

Daarnaast zijn er andere verdragen die bepaalde soorten wapens verbieden, zoals de 
Convention on the Prohibition of the Use, Stockpiling, Production and Transfer ofAnti-Personnel 


35 ICRC Customary International Humanitarian Law Study, Vol. 1, Rules, Rule 12. 
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Mines and on their Destruction 36 , The Convention on the Prohibition of the Development, 
Production and Stockpiling of Bacteriological (Biological) and Toxin Weapons and on 
their Destruction 37 en de Convention on the Prohibition of the Deveiopment, Production, 
Stockpiiing and Use of Chemical Weapons and on their Destruction. 38 

Er is geen reden om aan te nemen dat autonome wapens per definitie onder één van de 
verboden categorieën wapens zouden vallen. Een grote variatie aan wapens kan vallen 
onder het begrip autonoom wapen. Het enige dat deze wapens gemeen hebben, is dat 
zij over autonome kritische functies beschikken. Uiteraard kan ook een wapen dat niet 
verboden is, ingezet worden op een wijze die in strijd is met het humanitair oorlogsrecht. 
Dat maakt het wapen niet onrechtmatig, maar wel het specifieke gebruik ervan. Ook 
is het mogelijk dat een staat een autonoom wapen ontwikkelt dat onder één van deze 
verboden categorieën zou vallen, net zoals een niet-autonoom wapen zou kunnen worden 
ontwikkeld dat onder één van de verboden categorieën wapens zou vallen. In de praktijk 
blijken vrijwel alle staten deze verboden en beperkingen goed na te leven. 39 Concluderend 
kan worden gesteld dat autonome wapens als zodanig niet bij voorbaat behoren tot 
de categorie verboden wapens onder het humanitair oorlogsrecht of vallen onder de 
bestaande verdragen die wapens verbieden. Of een autonoom wapen behoort tot één van 
de verboden categorieën moet per specifiek wapen worden beoordeeld. 

Artikel 36 van het Eerste Aanvullende Protocol bij de Geneefse Verdragen (Trb. 1980, 87) 
verplicht staten de ontwikkeling en aanschaf van nieuwe wapens te onderwerpen aan 
een toetsing of deze wapens zijn toegestaan onder het internationaal recht. Voor de 
implementatie van artikel 36 heeft Nederland een commissie ingesteld. Deze commissie 
heeft tot taak de minister van Defensie te adviseren over de verenigbaarheid van het 
verwerven, het bezit, en elk gebruik van conventionele wapens en munitiesoorten, 
inhoudende alle wapens en munitiesoorten anders dan kernwapens en -munitie, alsmede 
de verenigbaarheid van strijdmethoden, met het geldende en in ontwikkeling zijnde 
internationaal recht en in het bijzonder het humanitaire oorlogsrecht. De commissie 
bestaat uit leden van de krijgsmacht en medewerkers van het ministerie van Defensie. 40 


36 Zie: <https://treaties.un. org/pages/ViewDetails.aspx?src=TREATY&mtdsg_no=XXVI- 
5&chapter=26&lang=en>. 

37 Zie: <http://disarmament.un.Org/treaties/t/bwc/text>. 

38 Zie: <https://treaties.un.org/pages/ViewDetails.aspx?src=TREATY&mtdsg_no=XXVI- 
3&chapter=26&lang=en> en < https://www.opcw.org/chemical-weapons-convention/download-the-cwc/>. 

39 De naleving van de verboden en beperkingen op specifieke soorten wapens is over het algemeen goed. 

Er is geen gedocumenteerd gebruik van biologische wapens sinds de totstandkoming van dit verbod. 
Chemische wapens zijn gebruikt door Irak en Syrië in het (recente) verleden, maar hebben geleid tot 
een algemene veroordeling door de internationale gemeenschap en het uiteindelijk ontmantelen van de 
voorraden van deze wapens onder internationaal toezicht. De mechanismen voor toezicht op naleving van 
de conventies inzake biologische en chemische wapens en in de CCW worden goed beschreven in W.H. 
Boothby, Weapons and the Law of Armed Conflict, Oxford University Press (2009), Chapter 19, p. 332 e.v. 

40 Besluit houdende instelling van de Adviescommissie Internationaal Recht en Conventioneel 
Wapengebruik d.d. 5 juni 2014, nr. BS2014011603, Staatscourant, nr. 16746, 18 juni 2014. De 
Adviescommissie is bevoegd adviezen in te winnen bij dan wel studies te doen verrichten door 
departementale en niet-departementale organisaties zoals TNO, de (wapen)industrie, andere 
ministeries en NGO's. 
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Het beginsel van humaniteit 

Naast de verdragsrechtelijke en gewoonterechtelijke regels die bepaalde categorieën 
wapens verbieden of aan beperkingen onderwerpen, is de vraag of het toepassen 
van dodelijk geweld door autonome wapens inherent in strijd is met het beginsel van 
humaniteit. Dit beginsel is één van de kardinale beginselen van het humanitair oorlogsrecht 
(naast militaire noodzaak, onderscheid tussen militaire en burgerpersonen en -objecten 
en het beginsel van proportionaliteit in bello dat hieronder wordt besproken). De Martens 
clausule is een uiting (naast andere) van dit beginsel in het humanitair oorlogsrecht en 
dateert van de Haagse vredesconferenties waarin het internationale humanitair oorlogsrecht 
voor het eerst werd gecodificeerd. 41 Deze clausule maakt ook deel uit van het Eerste 
Aanvullende Protocol en bepaalt dat in situaties die niet geregeld zijn in internationale 
overeenkomsten, burgers en combattanten beschermd blijven door en onderworpen blijven 
aan de beginselen van het volkenrecht die voortvloeien uit de gevestigde gebruiken, de 
beginselen van menselijkheid en de eisen van het openbare rechtsbewustzijn. 42 In zijn 
oorsprong had deze bepaling betrekking op de status van burgers die de wapens opnamen 
tegen een bezetter, maar vandaag de dag wordt het algemeen gezien als een herinnering dat, 
bij het ontbreken van specifieke regels van verdragenrecht, de beginselen van het humanitair 
oorlogsrecht en het gewoonterecht van toepassing blijven op de handelingen van partijen 
bij een gewapend conflict. Het gehele stelsel van regelgeving in het humanitair oorlogsrecht 
is immers een balans tussen humaniteit en overwegingen van militaire noodzaak. 43 Er is 
echter geen regel van gewoonterecht, noch is deze af te leiden uit één van de beginselen 
waarop het humanitair oorlogsrecht is gebaseerd, die het toepassen van dodelijk geweld 
door een geautomatiseerd of autonoom wapensysteem verbiedt of face to face encounter 
voorschrijft. Het voeren van vijandelijkheden op afstand is een integraal onderdeel van 
oorlogvoering zolang oorlog bestaat (vanaf de ballista uit de klassieke oudheid tot moderne 
over the horizon ballistische raketten en railguns die een projectiel over zeer lange 
afstanden kunnen afvuren met een minimale of zelfs helemaal geen directe interactie 
tussen de protagonisten). 

II.4 Legitieme doelen: onderscheid, proportionaliteit en voorzorg 

Het humanitair oorlogsrecht stelt eisen aan het voeren van vijandelijkheden en de 
inzet van wapens. Deze eisen zijn onverkort van toepassing op de eventuele inzet van 
autonome wapens. Het voeren van vijandelijkheden is niet specifiek gedefinieerd binnen 
het humanitair oorlogsrecht. Dit omvat diverse activiteiten, waaronder manoeuvreren, 
verkenning en het vergaren en analyseren van inlichtingen, command and control, 
communicatie, doelbestrijding en directe logistieke ondersteuning van deze activiteiten. 

Het humanitair oorlogsrecht reguleert een aantal van deze activiteiten, met als oogmerk 
het reguleren van geweldstoepassing en het beschermen van specifieke categorieën 
personen en objecten, die niet of slechts onder strenge voorwaarden mogen worden 
aangevallen. Een aanval is een toepassing van geweld (offensief of defensief) gericht 
tegen de opponent met de intentie of het effect van het doden, verwonden of geheel of 


41 Zie onder andere de verwijzing naar deze clausule door Christof Heyns, Special Rapporteur on 
Extrajudicial, Summary or Arbitrary Executions; Report Human Rights Council to the UN General 
Assembly, UN Doe. A/HRC/23/47, pp. 16-17. 

42 Trb. 1980, 87, artikel 1 lid 2. 

43 Zie onder andere Mary Ellen 0’Connell, Legal Systems in: D. Fleck (ed.) The Handbook of International 
Humanitarian Law, Oxford University Press (3rd ed. 2013), pp. 33-34. 
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gedeeltelijk uitschakelen van personen of vernietigen van objecten. 


Het onderscheid tussen militaire doelen enerzijds en burgers en burgerobjecten 
anderzijds vormt de kern van de regulering van vijandelijkheden. Personen die als militair 
doel gelden zijn de leden van vijandige strijdkrachten (met uitzondering van medisch 
personeel en geestelijke verzorgers), leden van georganiseerde gewapende groeperingen 
met een doorlopende gevechtsfunctie en burgers die tijdelijk rechtstreeks deelnemen 
aan vijandelijkheden. Vijandelijke combattanten die buiten gevecht zijn gesteld door 
verwondingen, ziekte, schipbreuk, noodevacuatie van een luchtvaartuig of overgave zijn 
gevrijwaard van een aanval. Zij moeten worden beschermd en humaan worden behandeld 
bij gevangenneming. Bepaalde personen en objecten genieten een verhoogde mate van 
bescherming en mogen niet of slechts in uitzonderlijke gevallen worden aangevallen. Deze 
zijn wat personen betreft medisch personeel (civiel of militair), humanitaire hupverleners 
en burgerbescherming personeel zolang deze personen geen handelingen verrichten die 
onverenigbaar zijn met hun medische of humanitaire functie en die schadelijk zijn voor 
de vijand. Journalisten die hun beroep uitoefenen zijn beschermd, tenzij zij rechtstreeks 
deelnemen aan vijandelijkheden. Militair personeel van VN-vredesmissies geniet 
bescherming zolang het (in volkenrechtelijke zin) niet partij wordt bij het conflict. 

Een object kan een militair doel zijn op grond van zijn aard, locatie, toekomstige of 
huidige functie of gebruik. Speciaal beschermde objecten omvatten medische installaties 
en vervoermiddelen, cultureel erfgoed, goederen en installaties die onontbeerlijk 
zijn voor het welzijn en het overleven van de burgerbevolking. Voorbeelden zijn een 
drinkwaterzuiveringsinstallatie, hulpverleningskonvooien, dammen en dijken, installaties die 
zeer gevaarlijke stoffen bevatten (zoals een kernenergiecentrale), alsmede de uitrusting, 
vervoermiddelen en installaties van VN-vredesmissies. Bovenstaande objecten verliezen 
hun speciale bescherming slechts in uitzonderlijke gevallen. Het natuurlijk milieu is een 
burgerobject en mag niet direct worden aangevallen of roekeloos worden aangetast. 

Middelen en methoden van oorlogvoering die langdurige, wijdverspreide en ernstige schade 
aan het milieu toebrengen als neveneffect van het voeren van aanvallen op militaire doelen 
zijn verboden. 

Alle personen en objecten die niet onder bovenstaande omschrijving van een militair 
doel vallen, zijn burgers of burgerobjecten. Aanvallen mogen alleen worden gericht tegen 
militaire doelen. Burgers en burgerobjecten mogen niet worden aangevallen. In geval van 
gerede twijfel over de status van een persoon of object mag die persoon of dat object niet 
worden aangevallen. 

Aanvallen moeten onderscheidend worden gepland en uitgevoerd. Dit houdt onder andere 
in dat aanvallen gericht moeten zijn tegen een militair doel; de aanvaller mag alleen een 
middel (wapen) of methode van oorlogvoering gebruiken waarbij onderscheid kan worden 
gemaakt tussen militaire doelen enerzijds en burgers en burgerobjecten anderzijds. Daarbij 
is het niet toegestaan een wapen in te zetten of een methode van oorlogvoering toe te 
passen waarvan de effecten onbeheersbaar zijn. Dan zou immers geen onderscheid 
kunnen worden gemaakt tussen militaire doelen en burgers of burgerobjecten. 

Het houdt tevens in dat disproportionele aanvallen verboden zijn. In het kader van het 
humanitair oorlogsrecht wordt disproportionaliteit gedefinieerd als een aanval op een 
militair doel waarvan verwacht mag worden dat het verlies aan burgerlevens, letsel 
aan burgers en/of schade aan burgerobjecten buitensporig zou zijn in vergelijking tot 
het concrete en directe militair voordeel dat de aanval zou opleveren. De standaard 
hierbij is die van de redelijke commandant/strijder die te goeder trouw de afweging 
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tussen verwachte nevenschade en militair voordeel maakt op grond van de beschikbare 
informatie ten tijde van de aanval. Een serie direct aan elkaar verwante aanvallen wordt 
als één aanval beschouwd voor wat het maken van deze afweging betreft. Het is tevens 
verboden om een gebied als één militair doel te bestrijken als zich daarin slechts enkele 
afzonderlijke en gescheiden militaire doelen bevinden tussen een concentratie van burgers 
en burgerobjecten. 

Aanvallen moeten met doorlopende voorzorg worden gepland en uitgevoerd om de 
burgerbevolking, individuele burgers en burgerobjecten zoveel mogelijk te vrijwaren 
van schade en letsel. Dit houdt in dat de aanvaller zich zo goed mogelijk ervan moet 
vergewissen dat het aan te vallen object of persoon daadwerkelijk een militair doel is. 

De aanval moet zo worden uitgevoerd dat nevenletsel en nevenschade zo veel mogelijk 
worden beperkt. Ook moet de aanvaller de burgerbevolking voorafgaand aan de aanval 
waarschuwen tenzij dit het succes van de aanval significant negatief zou beïnvloeden. 

Ten slotte moet een aanval worden opgeschort of geannuleerd als deze waarschijnlijk tot 
buitensporig nevenletsel of nevenschade zou leiden. 

II.5 De inzet van autonome wapens voor doelselectie en doelbestrijding in het 

kader van het humanitair oorlogsrecht 

Eén van de sleutelvragen in dit advies betreft de mogelijkheden van autonome wapens 
om zelfstandig doelen te selecteren en te bestrijden in overeenstemming met het 
hierboven uiteengezette juridische kader van het humanitair oorlogsrecht. Veel discussie 
over autonome wapens heeft betrekking op de vraag of inzet van deze wapens in 
overeenstemming kan zijn met de eisen die voortvloeien uit het humanitair oorlogsrecht: 
onderscheid, proportionaliteit en voorzorg. 

Ten eerste, het voldoen aan de eis van onderscheid. In 11.4 is uiteengezet dat vele factoren 
een rol spelen om te bepalen of een persoon of object al dan niet een legitiem doelwit is. 
In de nabije toekomst zal een wapen niet in staat zijn onderscheid te maken tussen een 
lid van een georganiseerde gewapende groepering met een gevechtsfunctie en een niet- 
strijdend lid, dan wel een burger in een niet-internationaal gewapend conflict. Of tussen 
een militair die aan de strijd deelneemt of een persoon die buiten gevecht is gesteld 
door verwonding, ziekte of overgave. Of tussen een burger die rechtstreeks deelneemt 
aan vijandelijkheden en een burger die bijvoorbeeld een vuurwapen afschiet tijdens een 
bruiloft. Een autonoom wapen zal in de nabije toekomst de drie criteria voor rechtstreekse 
deelname aan vijandelijkheden (drempel van schade, causale relatie tussen de handeling 
en de schade en connectie met een van de strijdende partijen tot een gewapend conflict) 
vrijwel zeker niet correct kunnen toepassen en kunnen beoordelen voor hoe lang de 
persoon die daaraan voldoet een legitiem doel is. 44 Ten aanzien van objecten spelen 
eveneens vele factoren een rol bij de vraag of een object al dan niet een legitiem doelwit 
is. In hoofdstuk I is al opgemerkt dat autonome wapens onder bepaalde omstandigheden 


44 Zie: ICRC, Interpretive Guidance on the Notion of Direct Participation in Hostilities (2009), paragraaf V, 
Constitutive Elements of Direct Participation in Hostilities waarin deze drie criteria zijn neergelegd en 
uiteengezet. Alhoewel deze studie op sommige punten tot de nodige controverse heeft geleid, worden 
deze drie basiscriteria algemeen beschouwd als uitgangspunt voor de beoordeling van de vraag of een 
specifieke handeling als rechtstreekse deelname kan worden gekwalificeerd. De criteria zijn context speci¬ 
fiek en vereisen een behoorlijke mate van inzicht in tal van factoren die moeilijk, zo niet onmogelijk van te 
voren in te programmeren zijn. 
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wel voldoende onderscheid kunnen maken tussen militaire doelen en civiele objecten. De 
bestaande autonome wapens kunnen immers alleen een bepaald soort vijandige doelen 
aanvallen. Ze kunnen doelen selecteren aan de hand van specifieke kenmerken. 

Ten tweede het proportionaliteitsbeginsel. Het uitvoeren van een aanval tegen een 
militair doel in een omgeving waar zich burgers bevinden betekent dat er altijd een 
proportionaliteitsafweging moet worden gemaakt. Dat geldt ook voor aanvallen tegen 
objecten waarbij redelijkerwijze neveneffecten op burgers en burgerobjecten te verwachten 
zijn. Een proportionaliteitsafweging omvat niet alleen een kwantitatieve schatting van het 
waarschijnlijk aantal (neven)slachtoffers als gevolg van de inzet van een specifiek wapen, 
maar ook een afweging of dit onder de heersende omstandigheden in verhouding staat tot 
het verwachte militair voordeel. Het is zeer onwaarschijnlijk dat autonome wapens binnen 
tien jaar zelfstandig in staat zijn om het militair voordeel af te wegen tegen nevenschade, 
althans niet in de meeste situaties. Het beoordelen van het verwachte militair voordeel 
is immers deels subjectief van aard en sterk afhankelijk van de context waarin de aanval 
wordt ingezet en voorts afhankelijk van een hele reeks factoren die aan snelle verandering 
onderhevig kunnen zijn. Dit zijn het soort situaties en het soort redeneren waar 
kunstmatige intelligentie zwakker is dan de mens. 

Ten derde het treffen van voorzorgsmaatregelen. Tijdens de planning en uitvoering van een 
aanval moet men doorlopend voorzorgsmaatregelen treffen om de effecten van de aanval 
op burgers en burgerobjecten te minimaliseren en zo mogelijk te vermijden. Dit betreft 
doorlopende verificatie van het doel, de keuze van het wapen, de tijd en de methode 
van aanval, afzien of opschorten van de aanval als blijkt dat het effect disproportioneel 
zou zijn of dat het niet (meer) om een legitiem doel gaat en ten slotte, waar mogelijk 
moet voorafgaand aan een aanval de burgerbevolking gewaarschuwd zijn dat een aanval 
aanstaande is. In verreweg de meeste situaties zullen autonome wapens de komende 
tien jaar niet in staat zijn zelfstandig - dus zonder menselijke tussenkomst - dergelijke 
afwegingen te maken, aangezien ze sterk contextueel bepaald zijn en aan snelle en 
onvoorspelbare verandering onderhevig kunnen zijn. 

Hieruit blijkt, zoals dat voor alle wapens geldt, dat ook de mogelijke inzet van autonome 
wapens aan beperkingen onderhevig is. Er moet immers voldoende zekerheid bestaan over 
het militair karakter van het aan te vallen doel en in een gebied waar zich burgers (zouden 
kunnen) bevinden moet zeker zijn dat zij niet disproportioneel worden geraakt. Ook is inzet 
niet te rechtvaardigen tegen doelen als de neveneffecten op de burgerbevolking niet bij 
voorbaat in te calculeren zijn. Ten slotte kan inzet van autonome wapens in situaties die 
onvoorspelbaar zijn of snel veranderen riskant zijn, omdat dan moeilijk aan de voorwaarden 
van het humanitair oorlogsrecht kan worden voldaan. De bestaande wapens met 
autonome functies worden dan ook thans vooral ingezet tegen militaire platforms zoals 
militaire vliegtuigen, oorlogsschepen en militaire voertuigen in omgevingen of in situaties 
waar de kans op nevenschade voor burgers of burgerobjecten of foutieve inschatting 
minimaal of geheel afwezig is. De inzet van defensieve wapens met autonome functies 
tegen vijandelijke projectielen of raketten levert weinig tot geen probleem op onder 
het humanitair oorlogsrecht. Ook het gebruik van autonome systemen als middel van 
elektronische oorlogvoering, voor verkenning, navigatie, explosievenopruiming en andere 
niet dodelijke taken is niet problematisch onder het humanitair oorlogsrecht. Dit geldt 
eveneens voor wapensystemen met een grote mate van autonomie in niet letale functies, 
zoals opstijgen en landen. 

Ook de aard van vele moderne conflicten compliceert het voldoen aan de vereisten van het 
humanitair oorlogsrecht. Het gaat immers steeds vaker om niet-internationale conflicten, 
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zonder duidelijk geografisch afgebakende frontlinies, waarbij militaire doelen zich bevinden 
in gebieden met veel burgers en waarbij partijen bij het conflict zich vaak opzettelijk niet 
duidelijk onderscheiden van hen die niet aan de strijd deelnemen. 

Uit het voorgaande blijkt dat zeker de komende tien jaar mensen de afwegingen inzake 
onderscheid, proportionaliteit en voorzorg zullen moeten maken. Ook autonome wapens 
zullen alleen ingezet mogen worden in gevallen waarin vrijwel zeker is dat het humanitair 
oorlogsrecht niet zal worden geschonden. Deze wapens zullen zeker de komende tien jaar 
het humanitair oorlogsrecht niet zelfstandig kunnen toepassen. Discussie over de vraag of 
autonome wapens dit ooit kunnen is naar de mening van de AIV/CAVV speculatief. Vanuit 
juridisch perspectief is het niet relevant of een mens dan wel een autonoom wapen een 
doel selecteert en aanvalt; in beide gevallen moet het recht worden nageleefd. Ook als op 
langere termijn autonome wapens ontwikkeld zouden worden die wel zelfstandig eisen van 
het humanitair oorlogsrecht kunnen toepassen, zijn dezelfde juridische eisen onverminderd 
van toepassing op de inzet van deze systemen. Het targeting proces, de wider loop, maakt 
het echter mogelijk dat de mens de afwegingen van het humanitair oorlogsrecht maakt. 

Het targetingproces waarbij de mens een cruciale rol speelt, kent de volgende zes fasen: 
(1) End State and Commander's Objectives, (2) Target Development and Prioritization, (3) 
Capabilities Analysis, (4) Commander's Decision and Force Assignment, (5) Mission Planning 
and Force Execution, (6) Assessment. In bijlage II is aangegeven welke vereisten van het 
humanitair oorlogsrecht tijdens de verschillende fasen van het proces (de wider loop) van 
belang zijn. 

In hoofdstuk IV over betekenisvolle menselijke controle wordt dieper ingegaan op de 
betrokkenheid van mensen bij het gebruik van autonome wapens en op ontwikkelingen die 
zijn te verwachten op langere termijn. 
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III Vragen van aansprakelijkheid 


III. 1 Inleiding 

Een van de vragen van de regering is of de AIV/CAVV veranderingen voorziet bij het 
afleggen van verantwoording over het gebruik van (volledig) autonome wapens in relatie tot 
daarmee samenhangende ethische vragen. Verantwoording kan politieke verantwoording 
inhouden en juridische aansprakelijkheid. De wijze waarop politieke verantwoording moet 
worden afgelegd over het gebruik van (volledig) autonome wapens is afhankelijk van het 
politieke systeem van een land en het ligt niet voor de hand dat daarin veranderingen 
optreden als gevolg van het gebruik van (volledig) autonome wapens. In dit advies wordt 
daarom niet nader ingegaan op vragen rondom politieke verantwoording over de aanschaf 
of inzet van autonome wapens. 

Dit hoofdstuk gaat in op vragen van aansprakelijkheid die rijzen ten aanzien van de 
ontwikkeling en (de besluitvorming met betrekking tot) de inzet van wapens met autonoom 
kritische functies. Paragraaf II 1.2 bespreekt de kwestie van een eventuele accountability 
gap en stelt dat de inzet van autonome wapensystemen in de komende tien jaar niet 
noodzakelijkerwijs leidt tot een lacune in aansprakelijkheidsmechanismen, maar dat er 
eerder sprake zal zijn van een verschuiving in de aansprakelijkstoedeling. Paragraaf III.3 
bespreekt vervolgens kort strafrechtelijke aansprakelijkheidsconcepten, terwijl paragraaf 
111.4 ingaat op vragen betreffende de aansprakelijkheid van staten onder internationaal en 
nationaal recht. 

III.2 Verschuiving van aansprakelijkheid in plaats van een accountability gap 

De claim dat de inzet van autonome wapensystemen leidt tot een zogenaamde accountability 
gap is één van de redenen op grond waarvan NGO’s zoals het International Committee for 
Robotic Arms Control (ICRAC) en Human Rights Watch pleiten voor een algeheel verbod op de 
ontwikkeling, productie en het gebruik van volledig autonome wapens. 45 Deze NGO’s stellen 
dat indien wapensystemen autonoom doelen selecteren en aanvallen, er geen individu 
meer is dat aansprakelijk kan worden gesteld voor eventuele fouten en schendingen van 
het humanitair oorlogsrecht. Zoals aangegeven in hoofdstuk I van dit advies zal de mens 
zeker in de periode van de komende tien jaar in de wider loop blijven, en blijft het de mens 
die het besluit neemt om een autonoom wapen in een bepaalde omgeving in te zetten, 
waarbij dit wapen doelen selecteert en aanvalt op basis van vooraf geprogrammeerde 
kenmerken. Aansprakelijkheid kan derhalve altijd teruggevoerd worden naar een menselijke 
actie, namelijk het besluit tot inzet. Uit hoofdstuk II blijkt dat inzet van autonome wapens 
onrechtmatig is onder het humanitair oorlogsrecht indien onvoldoende zekerheid bestaat dat 
de kernbeginselen van onderscheid, proportionaliteit en voorzorg kunnen worden nageleefd. 
Hieruit volgt dat, indien inzet van autonome wapensystemen leidt tot schending van het 
humanitair oorlogsrecht, er wel degelijk aansprakelijkheid bestaat, alleen verschuift de 
beslissing over de toepassing van geweld bij inzet van autonome wapens naar een vroeger 
moment in de wider loop. De aansprakelijkheid verschuift naar de commandant die over inzet 
beslist, en mogelijk naar de degene die het wapen activeert. 

De verschuiving van aansprakelijkheid is derhalve een vertaling van de ontwikkeling van de 
mens in/on the loop naar de mens out of the loop (in enge zin). Aangezien de mens binnen 


45 Human Rights Watch, Mind the Gap: The Lack of Accountability for Killer Robots, April 2015. 
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de termijn van tien jaar waar dit advies zich vooral op richt in de wider loop zal blijven, ziet 
de AIV/CAVV eerder een verschuiving van aansprakelijkheid dan een accountability gap. 

Ook na de termijn van tien jaar zou alleen daadwerkelijk een accountability gap kunnen 
ontstaan bij wapensystemen beyond the wider loop, dat wil zeggen wapens die zich 
zelfstandig aanpassen aan een dynamische omgeving en doelen aanvallen die niet door de 
mens vooraf zijn geprogrammeerd of voorzien. Zoals opgemerkt in hoofdstuk I is het niet 
de verwachting dat deze systemen de komende decennia zullen worden ontwikkeld. 

De conclusie van hoofdstuk II sluit hier direct bij aan, namelijk dat de mens bij de beslissing 
over inzet van autonome wapensystemen het humanitair oorlogsrecht in acht moet nemen. 
De primaire normen van het humanitair oorlogsrecht reguleren deze inzet zeer stringent 
en inzet waarbij deze normen niet in acht worden genomen is dan ook niet rechtmatig. 

Zoals in paragraaf III.3 verder is uitgewerkt, kan een commandant derhalve wel degelijk 
aansprakelijk worden gehouden voor risicovolle inzet van autonome wapensystemen met 
schendingen van humanitair oorlogsrecht als gevolg. Factoren zoals het tijdsverloop tussen 
het activeren van het wapen (het laatste moment waarop de afwegingen over onderscheid, 
proportionaliteit en voorzorg kunnen plaatsvinden) en de daadwerkelijke aanval op het doel 
alsmede de complexiteit van het wapen vragen om grotere terughoudendheid bij inzet van 
autonome wapens. Deze factoren kunnen derhalve niet zonder meer worden ingeroepen om 
onvoorzienbaarheid van de gevolgen te bepleiten en aansprakelijkheid te ontduiken. 

III.3 Vormen van strafrechtelijke aansprakelijkheid 

In deze paragraaf wordt voortgebouwd op de stelling uit de voorgaande paragraaf dat de 
mens in ieder geval de komende decennia het doorslaggevende besluit zal blijven nemen of 
een wapen wordt ingezet en de hierboven gesignaleerde verschuiving van aansprakelijkheid 
binnen de wider loop. In deze paragraaf worden verschillende casussen besproken. 

Opzettelijk onrechtmatige inzet van autonome wapens 

In die situaties waarin autonome wapens worden ingezet met het specifieke oogmerk om 
de regels van het internationaal humanitair recht te schenden en internationale misdrijven 
te plegen kunnen betrokken politieke en militaire leiders strafrechtelijk aansprakelijk 
worden gehouden op grond van reguliere aansprakelijkheidsvormen onder het nationale 
en internationale strafrecht. De exacte programmering van de autonome wapens kan 
in deze situaties van belang zijn om opzet te bewijzen. Dit scenario kan ook de situatie 
omvatten waarin autonome wapens gehackt worden, hetgeen kan leiden tot strafrechtelijke 
aansprakelijkheid van de hackers. Het zal in de praktijk evenwel niet altijd eenvoudig zijn 
een dergelijke aansprakelijkheid te bewijzen. 

Risicovolle inzet van autonome wapens 

Een commandant die besluit tot inzet van autonome wapensystemen terwijl hij of zij weet 
of had kunnen weten dat deze inzet kon leiden tot het begaan van oorlogsmisdrijven, kan 
ook individueel strafrechtelijk aansprakelijk worden gehouden. 

De exacte standaard van de voorwaardelijke opzet, dolus eventualis (voorwaardelijke opzet) 
en de inhoud van het kenniscriterium verschilt per internationaal misdrijf en ieder nationaal 
strafrechtssysteem kent ook weer zijn eigen standaarden en uitwerkingen daarvan. In het 
kader van het Nederlands strafrecht is het concept van de voorwaardelijke opzet zo ingevuld 
dat een commandant aansprakelijk kan worden gehouden voor een bepaald oorlogsmisdrijf 
indien hij of zij bewust de aanmerkelijke kans aanvaardde dat dit oorlogsmisdrijf het gevolg 
zou zijn van zijn of haar handelen, in casu de inzet van het betreffende wapen in de gegeven 
situatie. 
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Daarnaast kan verwezen worden naar artikel 30 van het Statuut van Rome inzake het 
Internationaal Strafhof (Trb. 2000,120). Dit artikel luidt als volgt: 

1. Tenzij anders bepaald is een persoon alleen strafrechtelijk aansprakelijk en strafbaar 
ter zake van een misdrijf waarover het Hof rechtsmacht bezit, indien de materiële 
bestanddelen begaan zijn met opzet en wetenschap. 

2. Voor de toepassing van dit artikel handelt een persoon met opzet indien: 

a. die persoon met betrekking tot gedragingen, de bedoeling heeft tot de gedragingen 
over te gaan; 

b. die persoon met betrekking tot een gevolg, de bedoeling heeft dat gevolg teweeg 
te brengen of zich ervan bewust is dat het gevolg zich bij een normale gang van 
zaken zal voordoen. 

3. Voor de toepassing van dit artikel betekent ‘wetenschap’ het zich ervan bewust zijn dat 
een omstandigheid bestaat of dat een gevolg zich bij een normale gang van zaken zal 
voordoen. ‘Wetenschap hebben’ en ‘welbewust’ worden dienovereenkomstig uitgelegd. 

De kernvraag is of dit artikel zo kan worden geïnterpreteerd dat het dolus eventualis, 
voorwaardelijk opzet, omvat, dat wil zeggen die situaties waarin een commandant niet 
de directe opzet had om oorlogsmisdrijven te plegen, maar wel het risico nam dat dit 
het gevolg zou zijn van zijn of haar handelen. De literatuur is verdeeld over deze kwestie 
en de jurisprudentie van het Internationaal Strafhof is niet eenduidig. 46 Wel is het de 
overheersende wetenschappelijke opinie en richting van de rechtspraak van het Hof dat 
artikel 30 dolus eventualis uitsluit. In dit geval zou er een accountability gap ontstaan. 

Maar dit is dus een kwestie van interpretatie en het is in principe wel mogelijk om, in 
navolging van alle nationale rechtssystemen, ook in de context van het Internationaal 
Strafhof het concept van dolus eventualis expliciet te accepteren. In ieder geval is van 
belang op te merken dat op nationaal niveau een dergelijke accountability gap niet 
bestaat, nu ieder nationaal rechtsstelsel wel een vorm van dolus eventualis kent waarbij 
aansprakelijkheid ontstaat in gevallen waar opzet ontbreekt maar waarbij het misdrijf wel 
voorzienbaar was. Ook hier wijst de AIV/CAVV op het feit dat in de praktijk de bedoeling 
over te gaan tot strafbare gedragingen (zoals hierboven beschreven onder risicovolle 
inzet van autonome wapens), lastiger te bewijzen is, terwijl het bewustzijn dat mogelijke 
consequenties uit bepaalde handelingen volgen, makkelijker te bewijzen is. 

Aan het criterium van de voorzienbaarheid of het aanvaarden van een aanmerkelijke kans 
kan in concrete situaties bijvoorbeeld worden voldaan als een commandant een bepaald 
autonoom wapensysteem inzet in een andere situatie dan waarvoor het wapen oorspronkelijk 
ontwikkeld is. Daarnaast kan de commandant de aanmerkelijke kans aanvaarden dat de inzet 
van autonome wapensystemen leidt tot het plegen van oorlogsmisdrijven indien deze worden 
bediend door niet voldoende getrainde bedienaars en operators. 47 


46 Zie voor een overzicht E. van Sliedregt, Individual criminal responsibility in international law, OUP, 

2012, pp. 45-48. Zie ook Concurring Opinion of Judge Christine Van den Wyngaert to the Ngudjolo Chui 
Judgement, Case No. ICC-01/04-02/12, 18 December 2012, paras. 36-38, waarin de conflicterende 
interpretaties op dit punt van verschillende kamers van het Strafhof uiteen worden gezet. 

47 Analoog aan een bevinding van de Ethiopia-Eritrea Claims Commission die de staat Eritrea aansprakelijk 
hield voor het bombarderen van Mekele luchthaven in strijd met Artikel 57(2)(a)(ii) van Aanvullend 
Protocol I vanwege het gebruik van onervaren piloten (‘utterly inexperienced’), EECC, Partial Award, 
Central Front, Ethiopia’s Claim 2, 28 april 2004, RIAA, Vol. XXVI, part V, zoals geciteerd door M. Roscini, 
Cyberoperations and the Use of Force in International Law, OUP, 2014, p. 235. 
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Op basis van bovenstaande redenering en meer specifiek de toepassing van het 
voorwaardelijk opzet-vereiste is het goed voorstelbaar dat commandanten terughoudend 
zullen zijn in het gebruik van zeer complexe autonome wapens omdat mogelijk niet kan 
worden voorzien hoe dit wapen zal reageren op de situatie en omstandigheden waarin het 
wordt ingezet en eventuele inzet derhalve kan leiden tot aansprakelijkheid. 48 

Command responsibility 

De aansprakelijkheid van militaire commandanten of andere meerderen op basis van 
het leerstuk van de command responsibility wordt veel genoemd in analyses betreffende 
aansprakelijkheidsvragen en autonome wapensystemen. 

Aansprakelijkheid van militaire commandanten voor internationale misdrijven begaan 
door ondergeschikten (i) onder diens bevel of gezag en leiding kan ontstaan indien (ii) die 
militaire commandant kennis had van het feit dat de strijdkrachten deze misdrijven begingen 
of op het punt stonden deze te begaan, dan wel wegens de omstandigheden op dat moment 
kennis daarvan had dienen te hebben; en (iii) die militaire commandant of persoon naliet 
alle noodzakelijke en redelijke maatregelen te treffen die binnen zijn macht lagen om het 
begaan daarvan te verhinderen ofte beperken of de zaak voor te leggen aan de bevoegde 
autoriteiten voor onderzoek en vervolging. 

Aansprakelijkheid voor andere (civiele en politieke) verantwoordelijken kan ook ontstaan, zij 
het onder scherpere voorwaarden. Dit volgt uit Artikel 28 van het Statuut van Rome inzake 
het Internationaal Strafhof zoals geïmplementeerd in de Wet Internationale Misdrijven 
(WIM). Een wapensysteem met autonoom kritische functies kan niet als ondergeschikte 
worden aangemerkt en een commandant kan niet via deze aansprakelijkheidsconstructie 
aansprakelijk worden gehouden voor concrete aanvallen uitgevoerd door de autonome 
wapensystemen. 49 Het leerstuk van de command responsibility is een mechanisme 
ontwikkeld om meerderen te bestraffen voor hun omissie om misdrijven begaan door 
ondergeschikten te voorkomen ofte bestraffen. Het is duidelijk ontwikkeld voor een mens¬ 
mens relatie, aangezien in een mens-machine relatie de ‘meerdere’ niet aansprakelijk kan 
worden gehouden voor de omissie om de machine te bestraffen. 

Echter in de situatie waarin een commandant leiding geeft aan een menselijke ondergeschikte 
en wist of had moeten weten dat de ondergeschikte de autonome wapensystemen gebruikte 
om internationale misdrijven te begaan, kan de commandant wel aansprakelijk worden 
gehouden. Een probleem in deze situatie kan wellicht ontstaan indien de expertise van de 
bedienaar(s) de expertise van de commandant in hoge mate overtreft. Ook hier is van belang 
dat de artikel 36-procedure zo wordt ingericht dat een commandant zijn verantwoordelijkheden 
op juiste wijze kan dragen en hieraan adequate invulling kan geven. 

Onvoorzienbaar onrechtmatig optreden door middel van autonome wapens 
Tot slot bestaat er het scenario dat een autonoom wapen in overeenstemming met 
internationaal (humanitair) recht is geprogrammeerd en wordt ingezet en dat het wapen 
vervolgens toch bestaande regels van internationaal recht schendt, bijvoorbeeld omdat 
het wapen gehackt is of er een technische storing is. In feite verschilt dit scenario niet 
fundamenteel van situaties die kunnen ontstaan met wapens zonder autonome kritische 
functies. Wel is het zo dat de kans op storingen zal toenemen bij de ontwikkeling van 


48 M. Roorda, NATO’s targeting process: Ensuring human control over and lawful use of ‘autonomous’ 
weapons, ACIL Research Paper No. 2015-06, p. 14. 

49 Human Rights Watch, Mind the Gap: The Lack of Accountability for Killer Robots, April 2015, pp. 20-25. 
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steeds complexere wapensystemen. Bovendien wordt het risico op storingen groter 
naarmate meer systemen gekoppeld worden, waarbij het niet meer mogelijk is uitputtend 
te testen of zekerheid en voorzienbaarheid van functioneren te verkrijgen is op grond van 
mathematische berekeningen. Indien significante risico’s op storingen bestaan zal de inzet 
van autonome wapensystemen kunnen vallen onder het voorwaardelijke opzet-criterium, 
namelijk dat een commandant de aanmerkelijke kans aanvaardt dat het wapensysteem 
disfunctioneert met ernstige schending van het humanitair oorlogsrecht als gevolg. 

III.4 Aansprakelijkheid van staten 

Aansprakelijkheid heeft niet alleen betrekking op mogelijke strafrechtelijke handelingen 
van politieke of militaire leiders. Ook de staat zelf kan juridisch worden aangesproken 
wanneer autonome wapens onrechtmatig worden ingezet door staatsorganen of door 
individuen wier gedrag aan de staat kan worden toegerekend. Op het internationale 
niveau wordt dit gereguleerd door het leerstuk van de staatsaansprakelijkheid. 50 Via 
civiele rechters op het nationale niveau kunnen staten op grond van het leerstuk van de 
onrechtmatige daad worden aangesproken. 

Staatsaansprakelijkheid in het internationale recht 

Traditioneel heeft staatsaansprakelijkheid betrekking op relaties tussen staten. Een 
getroffen staat kan de aansprakelijkheid van een andere staat inroepen via diplomatieke 
kanalen of, wanneer er een rechtsgang openstaat, via een juridische procedure. 

Bij de aansprakelijkheid van staten speelt de zogenoemde zorgplicht een belangrijke rol. 
Staten dienen zich voldoende in te spannen om te voorkomen dat de inzet van autonome 
wapens leidt tot (mogelijke) schendingen van het internationaal recht. Zo dienen staten zich 
ervan te vergewissen dat autonome wapens worden betrokken bij betrouwbare producenten, 
dat wapens voldoende worden getest voor ingebruikname en dat commandanten voldoende 
training en voorlichting krijgen over de werking en risico’s van autonome wapens. Staten 
dienen ervoor te zorgen dat commandanten een dusdanig goed inzicht hebben in het 
functioneren van het wapen dat de afweging tot inzet op zorgvuldige wijze gemaakt wordt 
en de implicaties van het gebruik van het wapen goed kunnen worden ingeschat. Wanneer 
staten zich hebben onttrokken aan deze inspanningsverplichtingen, zijn zij daarvoor 
aansprakelijk onder het internationaal recht. In dit kader kan met name gewezen worden op 
artikel 36 van het Eerste Aanvullende Protocol, zoals eerder besproken in hoofdstuk II. 

Civielrechtelijke aansprakelijkheid onder het nationale recht 
Voor individuele slachtoffers zal het in de praktijk vaak moeilijker blijken om staten 
daadwerkelijk juridisch aan te spreken. Nationale civielrechtelijke procedures bieden niet 
altijd uitkomst voor individuen die het slachtoffer zijn van handelingen door een staat. 

Dit is echter een algemeen probleem en niet iets dat alleen speelt bij de mogelijke inzet 
van autonome wapens. Vragen die zich zullen voordoen, zijn bijvoorbeeld: Welke rechter 
is bevoegd om van een schadeclaim kennis te nemen? Kan een staat zich beroepen op 
immuniteit? Hoe kan een eventueel voor de eisende partij gunstig vonnis ten uitvoer 
worden gelegd? De beantwoording van deze vragen is uitermate gecompliceerd wanneer 
eisende en gedaagde partij niet aan eenzelfde rechtssysteem zijn onderworpen, een 
situatie die bij het gebruik van autonome wapens zeer waarschijnlijk is. 


50 Regel 149 van de ICRC gewoonterechtstudie geeft aan dat een staat in ieder geval aansprakelijk is voor 
schendingen van het humanitair recht: (a) committed by its organs, including its armed forces; 

(b) committed by persons or entities it empowered to exercise elements of governmental authority; 

(c) committed by persons or groups acting in fact on its instructions, or under its direction or control; 

(d) committed by private persons or groups which it acknowledges and adopts as its own conduct. 
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Betekenisvolle menselijke controle 


IV. 1 Een omschrijving 

Het concept betekenisvolle menselijke controle over wapens speelt een centrale rol in de 
discussie over de aanvaardbaarheid van autonome wapens. Er is nog geen internationaal 
overeengekomen definitie van betekenisvolle menselijke controle, maar zowel voor- als 
tegenstanders van toenemende autonomie in wapensystemen erkennen dat een zekere 
mate van menselijke controle een belangrijke rol speelt voor de maatschappelijke acceptatie 
van wapensystemen die zelf doelen selecteren en aanvallen. In de huidige praktijk van 
geweldstoepassing wordt algemeen verwacht dat de mens een zekere mate van controle 
uitoefent over wie of wat wordt aangevallen (personen of objecten), wanneer (moment en 
duur van de aanval), waar (locatie van de aanval), waarom (reden voor selectie of aanval) 
en hoe (proces). 51 Menselijke controle kan een waarborg zijn voor ethische en morele 
afwegingen in het besluitvormingsproces dat leidt tot (dodelijke) geweldstoepassing. Ook 
kan verantwoordelijkheid en aansprakelijkheid aan individuen worden toegewezen, als 
mensen controle hebben over autonome wapens. Het concept van betekenisvolle menselijke 
controle heeft dan ook betrekking op aansprakelijkheid ( accountability ), ethische en morele 
afwegingen ( moral responsibility) en controle ( controllability ). 52 Het aspect aansprakelijkheid 
is in het vorige hoofdstuk aan de orde geweest. Ethische aspecten komen in het volgende 
hoofdstuk aan bod. Dit hoofdstuk beoogt een bijdrage te leveren aan de internationale 
discussie over de definitie van het concept betekenisvolle menselijke controle. 

Niet elke vorm van menselijke controle is betekenisvol, adequaat of voldoende. Als deze 
controle niet meer zou inhouden dan dat een bedienaar van een wapensysteem alleen 
maar op een knop hoeft te drukken als een lampje gaat branden, zonder enige andere 
informatie, dan is in ieder geval geen sprake van betekenisvolle menselijke controle. 

Dat betekent niet dat mensen altijd over volledige informatie kunnen beschikken. Dat 
zou voorbijgaan aan de realiteit van oorlogvoering en het gebruik van wapens die al 
decennia worden geaccepteerd. Toch zou volgens het International Committee for Robotic 
Arms Control (ICRAC) een commandant moeten beschikken over: ‘full contextual and 
situational awareness of the target area and be able to perceive and react to any change or 
unanticipated situations that may have arisen since planning the attack.’ en stelt voorts: 
‘There must be a means for the rapid suspension or abortion of the attack’. 53 De mens 
heeft evenwel wapens gebruikt zonder perfecte, real-time situational awareness van het 
doel(gebied) sinds de uitvinding van de katapult. Pas sinds de toepassing van moderne, 
geavanceerde wapens bestaat soms de mogelijkheid dat tijdens de vlucht van een 
projectiel de doelselectie wordt aangepast of de aanval wordt afgebroken. 54 

Waarover moet de mens dan wel controle hebben: over alle functies van wapensystemen, 
alleen over de kritische functies van wapensystemen of moet een mens iedere individuele 


51 M. Brehm, Meaningful human control, presentatie tijdens CCW, Genève, 14 april 2015. 

52 M.C. Horowitz en P. Scharre, Meaningful human control in weapon systems: a primer, Center for a New 
American Security, working paper March 2015, p. 8. 

53 Frank Sauer, ICRAC statement on technical issues to the 2014 UN CCW Expert Meeting, 14 mei 2014. 
Zie: <http://icrac.net/2014/05/icrac-statement-on-technical-issues-to-the-un-ccw-expert-meeting/>. 

54 M.C. Horowitz en P. Scharre, Meaningful human control in weapon systems: a primer, Center for a New 
American Security, working paper March 2015, p. 9. 
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aanval autoriseren? Voor de Britse NGO Article 36, de belangrijkste pleitbezorger van het 
concept, gaat het om menselijke controle over individuele aanvallen. 55 De AIV/CAVV acht het 
zinvol om bij een beschouwing over betekenisvolle menselijke controle het targeting proces, 
de wider loop, als uitgangspunt te nemen. De mens en zijn intentie om dodelijk geweld toe te 
passen spelen hier immers een cruciale rol. 

Naast betekenisvolle menselijke controle worden ook andere begrippen genoemd die kunnen 
dienen als handvat om de ethische en juridische aspecten van de inzet van autonome 
wapens te onderzoeken, met name judgment (oordeelsvorming) en voorspelbaarheid. 56 
In veel fasen van het ontwerpen en de aanschaf van autonome wapens en tijdens het 
targetingpmces worden besluiten genomen en wordt een oordeel geveld. Oordeelsvorming is 
dan ook een essentieel element van betekenisvolle menselijke controle. Het gaat er immers 
om dat een mens een oordeel velt over de vraag of de selectie van doelen en de aanval op 
doelen in een gegeven context kunnen worden overgelaten aan een autonoom wapen. Als 
een commandant besluit over de inzet van een autonoom wapen, dan betekent dit dat hij 
een oordeel velt over de vraag of hij al dan niet afziet van verdere directe controle over de 
kritische functies ‘selectie van’ en ‘aanval op’ doelen. Betekenisvolle menselijke controle 
omvat zo altijd judgment, maar omgekeerd niet. Bovendien impliceert judgment wel overzicht, 
maar geen controle. 

Voorspelbaarheid is ook een aspect van het concept betekenisvolle menselijke controle. 
Voorspelbaarheid speelt op verschillende manieren een rol. De voorspelbaarheid van het 
gedrag van een autonoom wapen is van groot belang voor de commandant die over inzet 
van het wapen moet besluiten en voor de militair die het wapen moet activeren, in de zin 
dat een commandant en een militair kunnen voorzien wat mogelijk kan gebeuren, zonder te 
kunnen voorspellen wat er precies zal gebeuren. Daarnaast is de voorspelbaarheid van de 
context waarin de inzet van het wapen plaatsvindt van groot belang. In omgevingen waar zich 
veel burgers of burgerobjecten bevinden is het risico groter dat deze (onverwacht) door de 
uitwerking van het wapen worden getroffen. Naarmate de voorspelbaarheid van het wapen 
en de omgeving groter zijn, is de afweging over inzet en activeren nauwkeuriger te maken. 
Ook voorspelbaarheid als begrip is beperkter dan betekenisvolle menselijke controle. 

De AIV/CAVV prefereert daarom het concept betekenisvolle menselijke controle boven de 
begrippen judgment en voorspelbaarheid. Internationaal lijkt ook consensus te ontstaan 
over het concept betekenisvolle menselijke controle als onderscheidend criterium tussen 
aanvaardbare en onaanvaardbare autonome wapens. 57 Ook dit is een reden om aan dit 
concept veel aandacht te schenken in dit advies. 

Het internationaal recht stelt grenzen aan het gebruik van geweld. Bovendien spelen 
ethische overwegingen een rol bij geweldstoepassing. Het is en blijft de verantwoordelijkheid 


55 Article 36, Key areas for debate on autonomous weapons systems, briefing paper, May 2014. Zie: 
<http://www.article36.org/wp-content/uploads/2014/05/A36-CCW-IVIay-2014.pdf>. Geconsulteerd op 
30 juni 2015. 

56 UNIDIR, The weaponization of increasingly autonomous technologies: considering how meaningful human 
control might move the discussion forward, UNIDIR resources no. 2, 2014, pp. 7-8. 

57 C. Heyns, comments informal meeting of experts on lethal autonomous weapons, 16 April 2015. Zie: 
<http://www.unog.ch/80256EDD006B8954/%28httpAssets%29/1869331AFF45728BC1257E2D0050E 
FE0/$file/2015_LAWS_MX_Heyns_Transcript.pdf>. Geconsulteerd op 10 juli 2015. 
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van mensen om te voldoen aan de eisen van het internationaal recht en ethische 
normen bij de inzet van alle soorten wapens. Betekenisvolle menselijke controle moet de 
mogelijkheid bieden de eisen van onderscheid, proportionaliteit en voorzorg na te leven. Of 
aan deze eisen daadwerkelijk wordt voldaan, is afhankelijk van degenen die beslissen over 
inzet van een autonoom wapen. 

IV.2 Elementen van betekenisvolle menselijke controle 

Betekenisvolle menselijke controle omvat (ten minste) de volgende drie elementen: 58 

• Mensen maken geïnformeerde, bewuste keuzes over het gebruik van wapens; 

• Mensen hebben adequate informatie om te verzekeren dat het geweldsgebruik conform 
de eisen van het internationaal recht geschiedt, gegeven de kennis die zij hebben over 
het doel, over het wapen en over de context waarin de inzet van het wapen plaatsvindt; 

• Het wapen is ontworpen en in een realistische operationele omgeving getest en 
mensen zijn voldoende getraind, om het wapen verantwoord te kunnen inzetten. 

Deze elementen worden hieronder toegelicht. De AIV/CAVV onderschrijft de gevolgde 
benadering. 

Geïnformeerde, bewuste keuzes 

Het besluit om een autonoom wapen in te zetten moet zijn genomen op basis van alle 
benodigde relevante informatie en het moet weloverwogen zijn genomen. Het besluit mag 
geen willekeurige beslissing zijn, maar in de praktijk zal een militair zelden over volledige 
informatie beschikken. Geïnformeerde bewuste keuzes vereisen niet dat de commandant 
of bedienaars van wapens de informatie zelf hebben verzameld. In de praktijk gaan 
militairen vaak af op informatie van andere militairen. De informatie op basis waarvan 
commandanten en bedienaars van moderne wapens beslissen om al dan niet geweld toe 
te passen, is vaak afkomstig van sensoren en bewerkt door computers. Een piloot die een 
raket afvuurt op een vijandelijk toestel, ziet het toestel vaak niet. Zijn instrumenten geven 
hem echter voldoende informatie om een besluit te nemen in overeenstemming met het 
internationaal recht en ethische beginselen. 

In de vorige hoofdstukken is uiteengezet dat in elke specifieke situatie een afweging moet 
worden gemaakt of inzet van een wapen te rechtvaardigen is in een gegeven context. Dat 
is niet specifiek voor autonome wapens, dit geldt voor alle soorten wapens. Echter, omdat 
autonome wapens op basis van de voorgeprogrammeerde soort doelen zelf in staat zijn 
individuele doelen te selecteren en aan te vallen, krijgt het samenspel tussen mens en 
machine een ander karakter. Een commandant heeft immers minder zicht op aanvallen op 
individuele doelen en moet dus vooraf een juist oordeel vellen of het autonome wapen in 
een gegeven situatie binnen de kaders van het internationaal recht zal blijven. 

Adequate informatie: doel, wapen en context 

Om te beoordelen of inzet van een wapen conform de eisen van het internationaal recht 
mogelijk is, is kennis nodig over het doel, over het wapen en over de context. In hoofdstuk 
II is het recht uiteengezet dat bepaalt welke doelen legitieme militaire doelen zijn. 
Voorafgaand aan het besluit tot inzet van een autonoom wapen moet duidelijk zijn dat het 
wapen legitieme militaire doelen zal aanvallen en dat eventuele nevenschade proportioneel 
zal zijn. Waarneming op de grond door militairen kan daarbij een belangrijk middel zijn. 
Militairen moeten weten hoe voorspelbaar en betrouwbaar het wapen opereert in de 


58 M.C. Horowitz en P Scharre, Meaningful human control in weapon systems: a primer, Center for a New 
American Security, working paper March 2015, p. 4. 
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specifieke actuele omstandigheden, wat de (technische) beperkingen van het wapen zijn, 
voor welke omgevingen het wapen geschikt is et cetera. Zij moeten immers beoordelen of 
inzet in de gegeven situatie kan voldoen aan de eisen van onderscheid, proportionaliteit 
en voorzorg. Daarnaast moeten militairen kennis hebben over de context, met name of 
zich burgers bevinden in het inzetgebied en of er burgerobjecten zijn. Zij moeten begrijpen 
hoe een autonoom wapen zich verhoudt tot de specifieke omgeving waarin het wapen 
zal worden ingezet, om te kunnen beoordelen wat de effecten zullen zijn. In vergelijking 
met wapens zonder autonome kritische functies vereist dat meer kennis en inzicht. 

Dat is van groot belang voor een commandant die over inzet van een autonoom wapen 
moet beslissen. Hij moet niet alleen weten of inzet kan voldoen aan de eisen van het 
humanitair oorlogsrecht (zie hoofdstuk II) en ethisch verantwoord is, hij is ook persoonlijk 
aansprakelijk (zie paragraaf III.3). 

Bij inzet van een autonoom wapen moet het risico op burgerslachtoffers zo gering 
mogelijk zijn. Dit risico wordt volgens de NGO Article 36 groter en de menselijke controle 
over gevolgen van inzet kleiner, als die inzet plaatsvindt: (1) gedurende een langere 
periode, (2) in een groter geografisch gebied, (3) terwijl de doelparameters globaler zijn 
gedefinieerd en (4) in een gebied waarin meer personen en objecten aanwezig zijn die 
mogelijk met de doelparameters overeenstemmen. De doelparameters en de algoritmes 
in het wapensysteem moeten ervoor zorgen dat het juiste doel wordt aangevallen. Zo 
zou bijvoorbeeld het risico bestaan dat een civiel object zoals een schoolbus wordt 
aangevallen als een wapensysteem dat op basis van vorm en infraroodstraling zijn doel 
kiest, wordt ingezet in een bevolkt gebied. 59 

Ontwerp van het wapen, testen en opleidingen 

Bij het ontwerpen van autonome wapens moet het geheel van het samenspel tussen 
mens en machine in ogenschouw worden genomen. Mens en machine vormen samen een 
systeem. In de ontwerpfase moet (mede op ethische gronden) worden nagedacht over 
de vraag welke functies van het systeem autonoom worden; het gaat daarbij met name 
om de verdeling van bevoegdheden tussen mens en machine. De Delftse hoogleraar 
Van den Hoven c.s. benadrukt het belang van Moral Responsible Engineering en merkt 
op dat de toewijzing van verantwoordelijkheid een belangrijk aspect van het ontwerp is. 
Vooral als complexe missies worden uitgevoerd gedurende een langere periode en daarbij 
verschillende personen zijn betrokken, dan kan het immers moeilijk zijn achteraf na te 
gaan wie verantwoordelijk was in het geval de missie leidt tot ongewenste uitkomsten, 
zoals schendingen van het humanitair oorlogsrecht. 60 De Canadese ingenieur en filosoof 
Millar wijst op onderzoek waaruit blijkt dat het vermogen van mensen om ethische 
beslissingen te nemen ernstig kan worden aangetast door ogenschijnlijk onbelangrijke 
situationele factoren zoals omgevingsgeluid of een schone of smerige werkomgeving. Hij 
bepleit nader onderzoek te doen naar de vragen of en hoe het ontwerp van autonome 
wapens (met name de interface tussen machine en mens) kan bijdragen aan het 


59 Article 36, Killing By Machines - Key Issues For Understanding Meaningful Human Control, April 2015. 

60 M.J. van den Hoven, P.J. Robichaud, F. Santoni de Sio, Why the future needs us today, toespraak voor 
de CCW Meeting of Experts on Lethal Autonomous Weapons Systems 2015. Zie: <http://www.unog.ch 
/80256EDD006B8954/%28httpAssets%29/89116E298AE593C2C1257E2A00413D61/$file/2015_ 
LAWS_MX_VanDenHoven.pdf>. Geconsulteerd op 19 juni 2015. 
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ondermijnen of versterken van ethische besluitvorming door mensen. 61 

Een wapensysteem moet zo zijn ontworpen dat mensen tijdig relevante informatie 
beschikbaar krijgen en deze moet overzichtelijk worden gepresenteerd, in die fasen van 
het targeting proces waar een mens besluiten moet nemen. De filosoof Asaro ziet dit als 
de kern van betekenisvolle menselijke controle. Hij stelt dat het niet voldoende is dat 
een mens betrokken is bij de besluitvorming over de toepassing van dodelijk geweld, 
maar dat deze persoon voldoende tijd moet hebben om na te denken, goed getraind en 
geïnformeerd moet zijn en ter verantwoording moet kunnen worden geroepen. 62 

In procedures voor toetsing van wapens (conform artikel 36 van het Eerste Aanvullende 
Protocol bij de Geneefse Verdragen) zou onder meer moeten worden nagegaan of de 
mate waarin menselijke controle is ingebouwd in het ontwerp van het autonome wapen 
voldoende waarborgen biedt voor de naleving van het internationaal recht. Autonome 
wapens zullen uitgebreid moeten worden getest in een realistische omgeving. Uit testen 
door de fabrikant en door potentiële afnemers moet blijken hoe het autonome wapen zich 
gedraagt in verschillende omstandigheden en welke risico’s zijn verbonden aan hun inzet. 
Deze tests kunnen waardevolle informatie opleveren voor commandanten die moeten 
beslissen over de inzet van een autonoom wapen. 

Als het internationaal recht wordt geschonden als gevolg van de inzet van een autonoom 
wapen, dan wordt iemand aansprakelijk geacht. Immers, mensen hebben tijdens het 
targeting proces besluiten genomen, bijvoorbeeld de beslissing genomen over de kaders 
voor inzet van het wapen en besloten het wapen in te zetten. De vraag is of die personen 
verwijtbaar hebben gehandeld. Onderzoek naar deze vraag veronderstelt dat duidelijk is 
wie welke beslissing nam. Prof. Alston, UN Special Rapporteur on extrajudicial, summary 
or arbitrary executions van 2004 tot 2010, merkt op dat het ontwerp van bestaande 
onbemande wapens onderzoek achteraf naar onrechtmatig handelen niet ondersteunt, 
omdat geen gegevens worden opgeslagen. Om te kunnen voldoen aan de verplichting van 
staten om verantwoording af te kunnen leggen voor het gebruik van dodelijk geweld, zou 
het ontwerp van elk onbemand systeem, ongeacht de mate van autonomie, onderzoek 
naar onrechtmatig handelen moeten faciliteren. Autonome wapens kunnen worden 
voorzien van een instrument dat data registreert en verzendt naar een database, zodat 
achteraf onderzoek kan worden gedaan naar de oorzaken van eventueel falen of mogelijke 
schendingen van het internationaal recht. 63 

Commandanten en militairen die het wapen bedienen, moeten zodanig zijn opgeleid dat 
ze kunnen beoordelen of inzet voldoet aan de eisen van onderscheid, proportionaliteit en 
voorzorg. Als nieuwe wapens worden aangeschaft, dan moet militair personeel niet alleen 


61 J. Millar, expert testimony to the informal meeting of experts on lethal autonomous weapons systems, 
Geneva, April 15, 2015. Zie: <http://www.unog.ch/80256EDD006B8954/%28httpAssets%29/F483 
D421E67D230FC1257E2F0033E690/$file/Jason+Millar+-+IVIeaningful+Human+Control+ancl+Dual- 
Use+Technology.pdf>. Geconsulteerd op 26 juni 2015. 

62 P. Asaro, On banning autonomous weapon systems: human rights, automation, and the dehumanization 
of lethal decision-making, International Review of the Red Cross, Vol. 94, No. 886, Summer 2012, 
p. 695. 

63 P. Alston, Lethal Robotic Technologies: The Implications for Human Rights and International 
Humanitarian Law. Journal of Law, Information, and Science (2012), Vol. 21, issue 2, p. 52. 
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worden opgeleid en getraind in het gebruik van het wapen, maar ook leren begrijpen hoe 
het wapen zal functioneren en in welke situaties en omstandigheden het kan worden 
ingezet binnen de grenzen die het internationaal recht stelt. Ook ethische vorming is een 
wezenlijk aspect van de opleiding en training van militairen op alle niveaus. 

IV.3 Betekenisvolle menselijke controle tijdens het targetingproces 

Gedurende het targeting proces krijgt betekenisvolle menselijke controle op verschillende 
momenten inhoud (zie ook het schema ‘Targetingproces en humanitair oorlogsrecht’ 
in bijlage II). Er zijn immers diverse momenten waarop mensen beslissingen nemen 
over (de kaders voor) de toepassing van geweld, zoals bij de vaststelling van de 
ru/es of engagement, bij de beslissing om een autonoom wapen in te zetten en bij de 
programmering van (categorieën) doelen. Bij de inzet van een autonoom wapen worden 
de selectie van het - vooraf geprogrammeerde soort - doel en de aanval op het doel, 
overgelaten aan het wapen. Dat er verschillende momenten zijn waarop besluiten worden 
genomen om geweld tegen een doel te gebruiken, impliceert dat de aansprakelijkheid 
meestal ligt bij verscheidene personen. Bijvoorbeeld een commandant die besluit over 
inzet van een wapen en de militair die het wapen activeert, kunnen beide aansprakelijk 
zijn, zoals in hoofdstuk lil is toegelicht. Ook kan een commandant aansprakelijk zijn voor 
schending van het oorlogsrecht door ondergeschikten, als de commandant aantoonbaar 
tekort schoot in het toezicht op zijn ondergeschikten. 

Tijdens het targetingpmces worden diverse besluiten genomen waarmee de risico’s van 
inzet van een autonoom wapen kunnen worden ingeperkt. 64 Het gaat onder meer om 
de specifieke taken die het wapen zelfstandig kan uitvoeren, de omgevingen waarin het 
opereert, de tijdsduur van inzet, het geografische bereik en de mobiliteit van het wapen. 
Taken kunnen offensief of defensief zijn en de categorie potentiële doelen kan meer of 
minder specifiek zijn gedefinieerd. Omgevingen kunnen zeer voorspelbaar zijn of juist 
dynamisch en complex, zoals een stad. Verder maakt het verschil of het wapen vast 
gemonteerd is, bijvoorbeeld op een schip, of zich zelfstandig kan verplaatsen. In het 
laatste geval kan het geografische bereik kleiner of groter zijn gedefinieerd. Naarmate de 
taken meer beperkt zijn, de omgeving minder dynamisch, de tijdsduur van inzet korter en 
het wapen niet of weinig mobiel is, zijn de effecten van inzet van het autonome systeem 
beter te voorzien. In die zin is de menselijke controle dan ook groter. Omgekeerd zal een 
complexer systeem dat zich gedurende langere tijd in een snel veranderende omgeving 
verplaatst, een groter risico inhouden op onverwachte en onvoorzienbare uitkomsten. Het 
uitoefenen van menselijke controle is dan moeilijker. 

Na de aanval op een doel moet worden vastgesteld wat de effecten van de aanval zijn; is 
het beoogde effect bereikt? Dit is de laatste fase van het targeting proces. Terugkoppeling 
van de effecten van een aanval aan een commandocentrum, waar mensen de verrichtingen 
van autonome wapens volgen, is van belang voor het versterken van de betekenisvolle 
menselijke controle. 


64 N. Davison, Characteristics of autonomous weapon systems, CCW Meeting of Experts, 14 April 2015. Zie: 
<http://www.unog.ch/80256EDD006B8954/%28httpAssets%29/37D5012BBF52C7BBC1257E2700599 
465/$file/Characteristics+of+AWS+ICRC+speaking+points+14+Apr+2015.pdf>. Geconsulteerd op 
19 mei 2015. 
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IV.4 De (verre) toekomst 


In hoofdstuk I is opgemerkt dat de technologische ontwikkelingen op langere termijn 
zouden kunnen leiden tot algemene kunstmatige intelligentie (die gelijk staat aan 
het niveau van de mens) en kunstmatige superintelligente die de intelligentie van 
mensen overstijgt. De mens is niet meer in staat te doorgronden wat een machine met 
superintelligente kan doen en wat de gevolgen zijn van de acties van die machine voor 
mensen. De ontwikkelingen in kunstmatige intelligentie gaan snel en het is denkbaar dat 
autonome wapens in de toekomst zelfstandig zullen kunnen leren, waarbij ze hun eigen 
gedragsregels aanpassen op basis van hun ‘ervaringen’. 65 Als de mens niet meer kan 
voorzien welk gedrag het autonome wapen zal vertonen, dan is geen sprake meer van 
betekenisvolle menselijke controle. Er is alleen sprake van controle als een mens kan 
voorzien hoe een autonoom wapen zich kan gedragen in een bepaalde situatie en achteraf 
het gedrag van het autonome wapen kan verklaren, op grond van de kennis die de mens 
heeft over de wijze waarop het autonome wapen functioneert. Als het gedrag van het 
autonome wapen onzeker is, dan rijst de vraag of een commandant nog een verantwoorde 
beslissing kan nemen over de inzet van het autonome wapen. Hij heeft dan immers 
onvoldoende zekerheid dat het humanitair oorlogsrecht niet zal worden geschonden. 

Zo stellen onder andere Krishnan (senior docent Veiligheidsstudies aan de East Carolina 
University) 66 , Anderson (hoogleraar internationaal recht aan het Washington College of 
Law, American University) en Waxman (hoogleraar recht aan de Columbia Law School) dat 
de technologische ontwikkelingen op het gebied van autonome systemen incrementeel 
zijn. Het is waarschijnlijk dat de betrokkenheid van de mens bij het selecteren van doelen 
en het aanvallen van doelen langzamerhand zal eroderen als gevolg van ontwikkelingen 
in wapentechnologie. 67 De AIV/CAVV acht het niet uitgesloten dat op de lange termijn 
betekenisvolle menselijke controle ten dele of grotendeels verloren kan gaan als gevolg 
van technologische ontwikkelingen (vooral op het gebied van kunstmatige intelligentie): 
indien autonome wapens lerend vermogen zouden hebben en de geprogrammeerde 
gedragsregels zelfstandig kunnen wijzigen, bijvoorbeeld naar aanleiding van ervaringen 
of veranderingen in de omgeving. Een andere mogelijkheid is dat de commandovoering 
(deels) zou worden overgenomen door computers, die in staat zouden zijn autonome 
wapens onbedoeld te activeren. Daarnaast zou de complexiteit van autonome systemen 
ertoe kunnen leiden dat menselijke controle ten dele of grotendeels verloren gaat. Het 
is niet te voorspellen of de technologie dan methoden zal bieden om te waarborgen dat 
autonome wapens conform de normen van het internationaal recht en ethische beginselen 
blijven functioneren. 

Zoals aangegeven in hoofdstuk I acht de AIV/CAVV het onwaarschijnlijk dat de komende 
decennia volledig autonome wapens worden ontwikkeld met het oogmerk om zonder enige 
menselijke controle te functioneren. Dan zou immers sprake zijn van wapens die zodanig 
geprogrammeerd zijn dat ze het gehele targeting proces zelfstandig uitvoeren, vanaf het 


65 Zie: Rise of the machines, in: Economist, May 9th, pp. 17-20. 

66 A. Krishnan, Killer Robots, Legality and Ethicality of Autonomous Weapons, 2009; Zie ook Robo-Wars, The 
Regulation of Robotic Weapons, Oxford Martin Policy Paper, 2014. 

67 K. Anderson en M.C. Waxman, Law and Ethics for Autonomous Weapon Systems: Why a Ban Won’t Work 
and How the Laws ofWarCan. Zie: <http://papers.ssrn. com/sol3/papers.cfm?abstractjd=2250126. 
pdf>. Geconsulteerd op 19 juni 2015, p. 19. 
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formuleren van het te realiseren militaire doel tot en met het bepalen van de plaats en tijd 
van inzet. De AIV/CAVV acht het niet waarschijnlijk dat een staat een dergelijk wapen zou 
willen (laten) ontwikkelen, nog afgezien van de vraag of dit technisch mogelijk is. 

Regelgeving? 

De AIV/CAVV is van mening dat er nu geen noodzaak is voor extra of nieuwe regelgeving 
met betrekking tot het concept van betekenisvolle menselijke controle. Het concept 
kan worden gezien als een standaard die afgeleid kan worden uit bestaande regelgeving 
en gebruiken (zoals het targeting proces). Het hoeft geen nieuwe norm te worden in het 
internationaal recht. Het concept kan wel dienen als handvat voor analyse tijdens toetsing 
conform artikel 36 van het Eerste Aanvullende Protocol bij de Geneefse Verdragen. 
Daarnaast kan het concept - zoals eerder genoemd - dienen als toetssteen bij het ontwerp 
van autonome wapensystemen en speelt het een cruciale rol bij de daadwerkelijke inzet van 
deze wapensystemen. 

Een interpretative guide zou een interpretatie van het bestaande recht bij inzet van 
autonome wapens kunnen geven. De totstandkoming van een dergelijk document zou 
wellicht ook de vorming van consensus over het concept betekenisvolle menselijke 
controle kunnen bevorderen. In dit document zouden - voor zover de classificatie van 
nationale systemen en procedures dit toelaat - bijvoorbeeld best practices kunnen worden 
opgenomen over onder meer de rol van betekenisvolle menselijke controle in artikel 36 
procedures en bij de inzet van autonome wapens. Deze gids zou een voorlichtende en 
educatieve functie kunnen vervullen en zou wellicht in het kader van de CCW tot stand 
kunnen komen. 
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Ethiek en autonome wapens 


Het (internationaal) recht is gebaseerd op ethische beginselen, maar ethische beginselen 
zijn breder dan het recht. Als het recht een handeling toelaat, wil dat niet zeggen dat men 
dat in alle gevallen zou moeten doen. Bovendien voorziet het recht niet in elke situatie. 
Waar het recht lacunes kent, kan men terugvallen op ethische beginselen om tot een 
oordeel te komen. 

De menselijke waardigheid is een ethisch beginsel dat een rol speelt in de discussie 
over autonome wapens, omdat het ten grondslag ligt aan de mensenrechten en aan het 
humanitair oorlogsrecht. De menselijke waardigheid wordt genoemd in de preambules van 
het Handvest van de Verenigde Naties, van de Universele Verklaring van de Rechten van 
de Mens, van het Internationaal Verdrag inzake Burgerrechten en Politieke rechten en van 
het Internationaal Verdrag inzake Economische, Sociale en Culturele Rechten. In de laatste 
twee wordt de menselijke waardigheid als bron van mensenrechten aangeduid. Verder is 
de menselijke waardigheid in de grondwet van sommige landen genoemd. Zo stelt artikel 
1 lid 1 van de Duitse grondwet dat de menselijke waardigheid onaantastbaar is en dit 
artikel draagt de overheid op deze te beschermen. 68 Ook het humanitair oorlogsrecht 
weerspiegelt de menselijke waardigheid. Dit recht is immers te zien als een afweging 
tussen militaire noodzaak en bescherming van de menselijke waardigheid. 

In zijn rapport aan de Mensenrechtenraad van 9 april 2013 stelt de Special Rapporteur 
on extrajudicial, summary or arbitrary executions, prof. Heyns, de vraag of de menselijke 
waardigheid wordt aangetast als mensen worden gedood door een machine. Diverse 
NGO’s, zoals de NGO’s die verenigd zijn in de campagne Stop Killer Robots, menen dat 
een morele grens wordt overschreden als machines kunnen beslissen over leven en dood. 
Heyns vraagt zich af of het niet inherent verkeerd is de beslissing over leven en dood 
over te laten aan machines, zelfs als deze machines functioneren binnen de kaders van 
het internationaal recht en machines aantoonbaar minder slachtoffers zullen maken dan 
mensen. Als dat inherent verkeerd zou zijn, dan kan naar zijn mening geen enkel argument 
de ontplooiing van autonome wapens rechtvaardigen. 69 Heyns riep in april 2013 ook 
op tot een moratorium en adviseert de Hoge Commissaris voor de Mensenrechten een 
multidisciplinair panel in te stellen dat onder andere de stand van zaken ten aanzien van 
de technologie moet inventariseren en de juridische, ethische en beleidsmatige vragen 
moet evalueren. 70 De Mensenrechtenraad nam met waardering kennis van het rapport. 71 
Sindsdien wordt de discussie over autonome wapens binnen de VN vooral gevoerd in de 


68 Artikel 1 lid 1 luidt: Die Würde des Menschen ist unantastbar. Sie zu achten und zu schützen ist 
Verpflichtung aller staatlichen Gewalt. 

69 Report of the Special Rapporteur on extrajudicial, summary and arbitrary executions on lethal 
autonomous robotics and the protection of life, A/HRC/23/47, 9 April 2013, paragrafen 92 en 93. 

70 Ibid, paragraaf 114. 

71 Zie: Mandate of the Special Rapporteur on extrajudicial, summary and arbitrary executions, paragraaf 5, 
A/HRC/RES/26/12. 
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CCW. Ook binnen de NAVO wordt over dit onderwerp van gedachten gewisseld. 72 

Heyns meent dat de menselijke waardigheid in het geding is als betekenisvolle menselijke 
controle over het gebruik van geweld ontbreekt. Tijdens de informele bijeenkomst 
van experts over autonome wapens in het kader van de CCW in april 2015 bepleitte 
Heyns het belang van betekenisvolle menselijke controle over het gebruik van geweld, 
tijdens een gewapend conflict of tijdens rechtshandhaving, of het geweld nu dodelijk 
is of niet. 73 Het humanitair oorlogsrecht bepaalt of een aanval rechtmatig is, maar dit 
recht veronderstelt volgens Heyns dat een mens beslist om een legitieme aanval uit te 
voeren, dan wel daarvan af te zien. De mogelijkheid dat machines in de toekomst de 
normen van het humanitair oorlogsrecht beter zullen naleven dan mensen, is naar zijn 
mening geen afdoende reden om de besluitvorming aan machines over te laten (zonder 
menselijke betrokkenheid). Het vraagstuk van de menselijke waardigheid ontstaat naar 
zijn mening als mensen geen deel meer uitmaken van de besluitvorming over leven en 
dood. Hij wijst volledig autonome wapens, wapens zonder betekenisvolle menselijke 
controle, daarom af, ook als de inzet ervan levens zou sparen. 74 Bovendien stelt hij dat 
aansprakelijkheid moeilijk kan worden toegewezen zonder betekenisvolle menselijke 
controle. Dit beschouwt hij als een additionele schending van het recht op leven. Hij 
verwijst ook naar het standpunt dat bij inzet van een autonoom wapen in een duidelijk 
gedefinieerd en geprogrammeerd geografisch gebied (en gedurende een beperkte tijd), 
men zou kunnen zeggen dat de afweging van militaire noodzaak en proportionaliteit is 
gemaakt door de degene die het wapen programmeerde. In die zin zou dan sprake zijn van 
menselijke controle. Heyns ziet in deze benadering een mogelijke invulling van het concept 
betekenisvolle menselijke controle. Daarom is het naar zijn mening van groot belang het 
concept verder te ontwikkelen en acht hij voortgaande discussies over dit onderwerp in 
CCW-verband van groot belang. 75 

In hoofdstuk II is de Martens clausule aangehaald, die verwijst naar de beginselen van het 
volkenrecht die voortvloeien uit de gevestigde gebruiken, de beginselen van menselijkheid 
en de eisen van het openbare rechtsbewustzijn, in situaties die niet geregeld zijn in 
internationale overeenkomsten. Hoewel er geen algemeen geaccepteerde interpretatie 
van de Martens clausule is, 76 is wel naar deze clausule verwezen bij het formuleren van 
het verbod van gifgas, het verbod op verblindende laserwapens en het verbod op anti- 
personeelmijnen. Een mogelijke interpretatie van de Martens clausule is dat niet alles is 
toegestaan, wat niet is verboden. 77 Immers, ook ethische argumenten, die (nog) niet in 


72 Zie bijvoorbeeld: NATO Headquarters Supreme Allied Commander Transformation, Autonomous Systems, 
issues for defence policymakers, Den Haag, 2015 en NATO Headquarters Supreme Allied Commander 
Transformation, Norfolk, United States, 29 October 2014. 

73 C. Heyns, comments informal meeting of experts on lethal autonomous weapons, 16 April 2015, p. 2. Zie: 
<http://www.unog.ch/80256EDD006B8954/%28httpAssets%29/1869331AFF45728B01257E2D0050EFE 
0/$file/2015_LAWS_MX__Heyns_Transcript.pdf>. Geconsulteerd op 10 juli 2015. 

74 Ibid, p. 9. 

75 ibid. p. 2. 

76 R. Ticehurst, The Martens clause and the laws of armed conflict, International Review of the Red Cross, 
No. 317. 

77 UNIDIR, The weaponization of increasingly autonomous technologies, considering ethics and social values, 
UNIDIR resources No. 3, Geneva 2015, p. 6. 
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het recht zijn weerspiegeld, kunnen een rol spelen. Het is echter lastig te bepalen wat de 
inhoud is van het openbare rechtsbewustzijn waarnaar de Martens clausule verwijst. Dat 
hangt immers mede af van de culturele en juridische context en waardesystemen. 78 Mogelijk 
kan de inhoud van het openbare rechtsbewustzijn (ten dele) worden gevonden in de publieke 
opinie, zorgen van internationale bewegingen of in de articulatie van een bepaald principe, 
zoals betekenisvolle menselijke controle. 79 Tijdens de CCW-bijeenkomst in april 2015 wezen 
sommige sprekers op het probleem van het betrouwbaar meten van de publieke opinie. 80 
Aangezien er geen overeenstemming bestaat over de interpretatie van de Martens clausule, 
is deze clausule moeilijk te hanteren in de discussie over autonome wapens. 

In het kader van de discussie over ethiek en autonome wapens stelt hoogleraar computer¬ 
wetenschappen R.C. Arkin dat het in de toekomst mogelijk zal zijn autonome wapens een 
ethisch bewustzijn mee te geven, dat ervoor zorgt dat deze wapens functioneren conform 
het internationaal recht en ethische grondslagen. Een ingebouwde ethical governor in 
een autonoom wapensysteem zou dan menselijke besluiten niet mogen uitvoeren als 
daardoor het humanitair oorlogsrecht zou worden geschonden. 81 Arkin erkent dat ethisch 
geprogrammeerde volledig autonome wapens niet perfect ethisch zullen functioneren, 
maar wel meent hij dat deze wapens ethischer kunnen functioneren dan mensen. 82 Hij 
meent zelfs dat verwacht mag worden dat autonome wapens in de toekomst het humanitair 
oorlogsrecht beter zullen kunnen naleven dan mensen. Hij voert daartoe onder andere 
aan dat autonome wapens geen vijandelijke combattanten hoeven te doden of verwonden 
uit zelfverdediging, dat ze uitgerust kunnen worden met sensoren die beter functioneren 
dan menselijke zintuigen, dat ze geen emoties kennen (zoals wraak of woede) en meer 
informatie sneller kunnen verwerken dan mensen. Bovendien blijken militairen in de praktijk 
zich niet altijd aan de normen van het internationale recht te houden. 

Human Rights Watch merkt op dat mensen niet alleen over negatieve emoties beschikken, 
maar ook over positieve emoties zoals medelijden en zich kunnen inleven in anderen, 
in tegenstelling tot machines. Rosa Brooks, hoogleraar aan de rechtenfaculteit van de 
Georgetown University, onderschrijft dit, maar wijst ook op de onmiskenbare aanleg bij de 
mens voor geweld en wreedheid. Elk jaar komen wereldwijd meer dan een half miljoen 
mensen om het leven als gevolg van bewust gebruik van geweld, alleen al in de VS worden 
elk jaar meer dan 16.000 mensen vermoord en een miljoen mensen zijn slachtoffer van 
geweld. ‘Humans, not robots, came up with s uch ingenious ideas as torture and death by 
crucifixion. Humans, not robots, came up with the bright idea of firebombing Dresden and 
Tokyo; humans, not robots, planned the Holocaust and the Rwandan genocide’, betoogt ze. 


78 In een animistische cultuur (onder meer Japan) wordt ook een ziel toegekend aan levenloze zaken. 

79 UNIDIR, The weaponization of increasingly autonomous technologies, considering ethics and social values, 
UNIDIR resources No. 3, Geneva 2015, pp. 6-7. 

80 Zie: <http://www.unog.ch/80256EDD006B8954/(httpAssets)/75FA2FB4CB45C2BAC1257E290054DF92 
/$file/Florowitz+CCW+Presentation+Public+Final.pdf> en <http://www.unog.ch/80256EDD006B8954/ 
(httpAssets)/2B52D16262272AE2C1257E2900419C50/$file/24+Patr ick+Lin_Patrick+SS.pdf>. 

81 R.C. Arkin, The Case for ethical autonomy in unmanned systems, Journal of Military Ethics 9(4): 
pp. 332-341. 

82 R.C. Arkin, Governing Lethal Behavior: Embedding Ethics in a Hybrid Deliberative/Reactive Robot Architecture, 
pp. 6-9. Zie: <http://www.cc.gatech.edu/ai/robot-lab/online-publications/formalizationv35.pdf>. 
Geconsulteerd op 26 juni 2015. 
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Op een verantwoorde wijze geprogrammeerde bewapende robots zouden volgens Brooks 
veel humaner kunnen functioneren dan de mens. 83 

De AIV/CAVV is van mening dat veel samenlevingen besluiten zullen moeten nemen over 
ethische vraagstukken gerelateerd aan autonome civiele systemen, voordat autonome 
wapens brede toepassing vinden. Civiele ontwikkelingen gaan doorgaans veel sneller 
dan de militaire toepassingen. Nu al worden experimenten uitgevoerd met onder meer 
zelfrijdende auto’s en zorgrobots. Het is te verwachten dat dodelijke slachtoffers zullen 
vallen bij verkeersongelukken met zelfrijdende auto’s. Accepteert de samenleving dat 
zelfrijdende auto’s aanrijdingen en verkeersslachtoffers veroorzaken, net zoals mensen, 
of mogen ze geen fouten maken? Wat moet een zelfrijdende auto doen als alle opties 
leiden tot slachtoffers; welke ethische keuzes moeten zijn geprogrammeerd? Het is te 
verwachten dat het expliciteren van deze ethische keuzes tot veel discussie zal leiden. Het 
maatschappelijk debat over ethische vragen zal de komende jaren dan ook vooral worden 
gevoerd naar aanleiding van introductie van autonome civiele systemen. De AIV/CAVV is 
van mening dat de urgentie van de discussie over de ethische aspecten van autonomie 
hoog is, zowel op het gebied van civiele als militaire toepassingen. 

Zolang betekenisvolle menselijke controle bestaat over de inzet van autonome wapens 
zijn ethische vraagstukken naar het oordeel van de AIV/CAVV niet problematisch. Immers, 
binnen de wider loop neemt een mens een afgewogen besluit om een autonoom wapen 
in te zetten met als doel vijandelijke eenheden en objecten uit te schakelen. Het gebruik 
van (dodelijk) geweld is dan intentioneel, ook als een autonoom wapen doelen selecteert 
en aanvalt. Inzet van deze autonome wapens met betekenisvolle menselijke controle 
kan op het gevechtsveld zelfs een bijdrage leveren aan het voorkomen of beperken van 
burgerslachtoffers. Wanneer niet langer sprake is van betekenisvolle menselijke controle 
over het gebruik van autonome wapens, dan zou het gebruik van deze wapens naar de 
mening van de AIV/CAVV niet moeten plaatsvinden. 


83 R. Brooks, In Defense of Killer Robots, Foreign Policy, 18 mei 2015. 
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VI Een moratorium? 


In het vorige hoofdstuk is de positie van de Special Rapporteur on extrajudicial, summary 
or arbitrary executions, prof. Heyns, reeds uitgebreid besproken. In april 2013 riep hij 
op tot een moratorium op ‘at least the testing, production, assembly, transfer, acquisition, 
deployment and use of LARs’ 84 totdat een internationaal raamwerk voor de toekomst van 
deze wapens is overeengekomen. 85 Tijdens de CCW-bijeenkomst in april 2015 ging Heyns 
in op het concept van betekenisvolle menselijke controle: ‘Especially significant is what 
appears to be an emerging consensus that the notion of meaningful human control presents 
a guide to distinguish acceptable forms of autonomous force release’. In de concluderende 
woorden van zijn statement staat het aspect betekenisvolle menselijke controle centraal: 
‘To conclude: it seems to me that we are getting closer to an answer to the question how to 
deal with /WS (autonomous weapon Systems): As long as they are good tools, in the sense 
that humans exercise meaningful control over them, they can and should be used in an 
armed conflict situation. There is significantly less room for their use in law enforcement, 
where it will be difficult to outperform human beings. If they are no longer toois in the hands 
of humans, they should not be used.’ 86 

Sommige NGO’s zoals de campagne Stop Killer Robots ondersteunen de oproep van Heyns 
voor een moratorium, maar hebben een voorkeur voor een preventief verbod op autonome 
wapens. 87 Op 28 juli 2015 riepen ruim duizend wetenschappers en ondernemers in een 
open brief op tot een verbod op offensieve autonome wapensystemen die niet onder 
betekenisvolle menselijke controle staan: ‘In summary, we believe that Al has great 
potentiai to benefit humanity in many ways, and that the goal of the field should be to do so. 
Starting a military Al arms race is a bad idea, and should be prevented by a ban on offensive 
autonomous weapons beyond meaningful human control.’ 88 

Het ICRC wilde op 13 april 2015 tijdens de CCW-bijeenkomst in haar openingsstatement 
niet zo ver gaan om te pleiten voor een moratorium of een verbod: ‘We first wish to recall 
that the ICRC is not at this time calling for a ban, nor a moratorium on 'autonomous weapon 
systems’.’ Het ICRC riep staten wel op de fundamentele juridische en ethische gevolgen 
van autonomie in kritische functies te beschouwen, voordat deze wapens verder worden 
ontwikkeld of ontplooid in gewapende conflicten. Het ICRC benadrukte verder dat de visie 
van deze organisatie op autonome wapens zich blijft ontwikkelen naarmate het ICRC 
meer kennis vergaart van de bestaande en potentiële technische mogelijkheden, van de 
militaire toepassingen van autonomie in wapens en van de daaruit resulterende juridische 


84 Lethal Autonomous Robotics. 

85 Report of the Special Rapporteur on extrajudicial, summary and arbitrary executions on lethal 
autonomous robotics and the protection of life, A/HRC/23/47, 9 April 2013, paragrafen 109 en 113. 

86 Comments by Christof Heyns, United Nations Special Rapporteur on extrajudicial, summary or arbitrary 
executions, 16 April 2015, CCW Meeting of Experts on Lethal Autonomous Weapons Systems 2015. 

87 ICRAC Closing Statement to the Convention on Certain Conventional Weapons Informal Meeting of 
Experts at the United Nations in Geneva. Zie: <http://www.unog. ch/80256EDD006B8954/(httpAssets)/ 
62045282 E84824EFC1257E2D004BF2B7/$file/2015_LAWS_MX_ICRAC_WA.pdf>. 

88 Zie: <http://futureoflife.org/AI/open_letter_autonomous_weapons>. 
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en ethische kwesties. 89 De vraag van de regering naar de beoordeling van de oproep van 
de Special Rapporteur on extrajudicial, summary or arbitrary executions om een moratorium 
raakt twee aspecten: is een moratorium wenselijk en is het haalbaar en uitvoerbaar? Deze 
twee aspecten worden hieronder nader bezien. 

VI. 1 Is een moratorium wenselijk? 

In hoofdstuk II is het geldende recht ten aanzien van het gebruik van wapens beschreven. 
De eventuele inzet van autonome wapens dient aan deze voorwaarden te voldoen. Dat 
geldt voor de gronden waarop wapens verboden kunnen worden en voor de eisen waaraan 
inzet moet voldoen. In dat hoofdstuk is verder uiteengezet dat autonome wapens niet per 
definitie vallen onder een van de categorieën verboden wapens: wapens die inherent geen 
onderscheid kunnen maken tussen militaire en andere doelen, wapens die onnodig leed 
of letsel veroorzaken en wapens die onbeheersbare gevolgen hebben. Voor elk specifiek 
autonoom wapen moet worden nagegaan of het wapen tot een van deze categorieën 
behoort. Omgekeerd valt niet uit te sluiten dat sommige toekomstige autonome wapens 
niet zijn toegestaan of dat het gebruik gereguleerd zou moeten worden, maar dat zal dan 
bijvoorbeeld kunnen blijken uit een artikel 36 procedure. Een artikel 36 procedure kan ook 
licht werpen op de vraag onder welke omstandigheden een autonoom wapen kan worden 
ingezet conform de eisen van het humanitair oorlogsrecht (onderscheid, proportionaliteit 
en voorzorg). 

Zeker de komende tien jaar en naar verwachting ook de komende decennia zullen 
autonome wapens worden ontwikkeld waarbij de mens in de wider loop besluiten moet 
blijven nemen om ervoor te zorgen dat de inzet van deze wapens niet in strijd is met het 
geldend recht. Te verwachten is dat deze autonome wapens zodanig worden ontwikkeld, 
dat deze human-machine interactie mogelijk is en de inzet dus rechtmatig en legitiem kan 
zijn omdat er sprake is van betekenisvolle menselijke controle. 

Een van de argumenten voor een moratorium of verbod op (volledig) autonome wapens 
is dat deze wapens het humanitair oorlogsrecht mogelijk niet zelf kunnen naleven. 90 De 
wapens die de komende tien jaar zullen worden ontwikkeld zullen dat naar verwachting 
inderdaad niet kunnen, de wapens die de komende decennia worden ontwikkeld mogelijk 
ook niet. Het kernpunt is evenwel dat degenen die beslissen over inzet en zij die het 
wapen activeren - de mens dus - een afweging moeten maken of het gebruik van een 
autonoom wapen in de specifieke omstandigheden te rechtvaardigen is, zoals dat ook voor 
andere wapens geldt. De commandant en de militairen die het wapen bedienen, moeten 
beslissen of inzet proportioneel is en of voldoende voorzorgsmaatregelen zijn genomen. De 
wider loop schept voldoende mogelijkheden om menselijke controle uit te oefenen zodat 
het humanitair oorlogsrecht kan worden nageleefd. Deze menselijke controle kan vertaald 
worden in strafrechtelijke aansprakelijkheid, zodat er geen aansprakelijkheidslacune, 
accountability gap, ontstaat. 

Zeker de komende tien jaar zal het autonome karakter van wapensystemen naar redelijke 
verwachting er niet toe leiden dat autonome wapens tot één van de categorieën verboden 


89 Statement of the International Committee of the Red Cross (ICRC) 13 April 2015, CCW Meeting of 
Experts on Lethal Autonomous Weapons Systems 2015. 

90 Report of the Special Rapporteur on extrajudicial, summary and arbitrary executions on lethal 
autonomous robotics and the protection of life, A/HRC/23/47, 9 April 2013, paragraaf 109. 
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wapens behoren. Ook zal het gebruik kunnen (en moeten) voldoen aan het bestaande 
rechtskader en toepasselijke ethische grondslagen (voor zover die geformaliseerd zijn en 
erkend in het toepasselijke recht en Ru/es Of Engagement). Er is geen reden om aan te 
nemen dat de technologie van nu en de komende tien jaar onrechtmatig of onethisch is 
of zal zijn. Het gebruik ervan kan dat wel zijn maar ieder wapen kan onrechtmatig of op 
onethische wijze worden gebruikt. Dat neemt niet weg dat niet kan worden uitgesloten dat 
op de lange termijn betekenisvolle menselijke controle kan verminderen of grotendeels 
verloren kan gaan als gevolg van technologische ontwikkelingen (met name op het gebied 
van kunstmatige intelligentie en toenemende complexiteit), zoals aangegeven in vorige 
hoofdstukken. Het hangt ook af van de (technologische) mogelijkheid om de menselijke 
controle op autonome wapens te vergroten door het toepassen van onder meer fail-safe 
voorzieningen om gevolgen van onbedoeld gedrag van autonome wapens te beperken. 

Technologische ontwikkeling is een proces waarbij voortdurend in kleine of grote stappen 
voortgang wordt geboekt. Heyns 91 citeert Anderson en Waxman, die stellen dat deze 
incrementele ontwikkeling van technologische kennis een belemmering is voor regulering. 
Er zijn geen scherpe lijnen te trekken tussen technologie die is toegestaan en technologie 
die verboden is. Anderzijds merkt Heyns op dat incrementele ontwikkeling van kennis het 
risico in zich draagt dat ongemerkt een situatie kan ontstaan die menselijke waarden 
en de internationale veiligheid bedreigt. Hij verbindt daaraan de conclusie dat de 
internationale gemeenschap een inventarisatie moet maken van de stand van zaken, een 
verantwoord proces moet ontwerpen en dat de ontwikkeling van technologie zo nodig aan 
banden moet worden gelegd. 92 

Louwerse (hoogleraar Cognitieve Psychologie en Artificiële Intelligentie, Universiteit 
van Tilburg) is van mening dat het juist van belang is om te blijven investeren in kennis 
op het gebied van autonome wapens. Om controle te kunnen houden op ethische, 
juridische, technische en beleidsmatige kwesties rondom autonome wapensystemen is 
(wetenschappelijke) kennis (op het gebied van de ontwikkeling) van deze wapensystemen 
cruciaal. 93 De AIV/CAVV is het hiermee eens. Bovendien gaat het om dual use kennis die 
voor veel civiele toepassingen van groot belang is en, zoals in voorgaande hoofdstukken is 
aangetoond, ook legitieme militaire toepassingen kan vinden. 

VI.2 Is een moratorium haalbaar en uitvoerbaar? 

Naar de mening van de AIV/CAVV roept een moratorium om verschillende praktische 
redenen bezwaren op. Veel kennis wordt ontwikkeld in de civiele sector, is dual use en 
heeft zowel civiele als militaire toepassingen. Wanneer software voor autonome systemen 
nog in ontwikkeling is en er nog sprake is van dual use technologie (en dus nog geen 
sprake is van autonome wapens) is rechtmatigheid van deze ontwikkeling lastig te 
beoordelen. Uiteindelijk gaat het om het samenstellen van dual use software en hardware 
componenten met het doel er een autonoom wapen van te maken. Ook is, zoals in het 
voorwoord opgemerkt, geen internationale consensus over definities. De vraag is dan ook: 
een moratorium waarop? 


91 Ibid, paragraaf 48. 

92 Ibid, paragraaf 49. 

93 Interview met prof.dr. M.M. Louwerse, hoogleraar Cognitieve Psychologie en Artificiële Intelligentie, 
Universiteit van Tilburg, op 6 juli 2015. 
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Schmitt (hoogleraar Internationaal Recht) meent dat zolang onvoldoende duidelijk is wat 
het militaire potentieel van autonome wapens is en welke (onbedoelde) humanitaire 
gevolgen de ontwikkeling van autonome wapens kan hebben, staten niet bereid zullen 
zijn autonome wapens uit te bannen. 94 Tijdens de informele expertbijeenkomsten van 
de CCW in april 2015 bleek inderdaad dat er geen draagvlak is voor een moratorium of 
een verbod onder staten. Voor zover bekend gaven slechts vijf landen (Cuba, Ecuador, 
Egypte, de Heilige Stoel en Pakistan) aan een moratorium of een verbod te steunen. 95 
Zonder draagvlak is een verdrag over een verbod of moratorium niet haalbaar. Een andere 
reden die een moratorium of verbod bemoeilijkt, is dat autonomie bestaat uit software 
en hardware. De verspreiding van hardware en software is nauwelijks tegen te houden. 

De software en de componenten zijn immers vrij verkrijgbaar omdat ze ook voor civiele 
toepassingen worden gebruikt. Een eventueel non-proliferatieregime lijkt dan ook niet 
haalbaar. Dit wordt duidelijk door een blik te werpen op het bestaande nucleaire non- 
proliferatieregime. 

Het huidige nucleaire non-proliferatieregime bestaat uit een geheel van multilaterale en 
regionale verdragen, exportcontrole regimes, alsmede enkele gedragscodes. Belangrijke 
multilaterale verdragen zijn het nucleaire Non-Proliferatieverdrag (NPV) uit 1968 en 
het Alomvattend Kernstopverdrag uit 1996 ( Comprehensive Test Ban Treaty, CTBT). 96 
Een voorbeeld van een gedragscode is The Hague Code of Conduct Against Ballistic 
Missile Proliferation (HCOC), die een oproep doet tot terughoudendheid ten aanzien van 
de productie, het testen en de export van ballistische raketten. Het NPV maakt een 
onderscheid tussen de de staten die kernwapens hebben (de have s) en staten die ze 
niet hebben (de have-nots). De have-nots verbinden zich geen kernwapens te ontwikkelen, 
waartegenover de haves zich verbinden hun kernwapenarsenalen te verminderen, terwijl 
geen belemmeringen worden gecreëerd voor het vreedzaam gebruik van kernenergie. De 
naleving van deze afspraken wordt gecontroleerd door het International Atomic Energy 
Agency (IAEA). Het CTBT behelst op zijn beurt een verbod op kernexplosies. 

Er bestaan echter belangrijke verschillen tussen door bovengenoemde verdragen 
gereguleerde wapensystemen en autonome wapens die een eventueel non-proliferatieregime 
voor autonome wapens nauwelijks realiseerbaar zullen maken. Zo valt bijvoorbeeld een 
onderscheid tussen autonome haves en have-nots in de praktijk niet te maken. Het gaat 
immers deels om technologie die ook in de civiele sector wordt gebruikt. Ook lijkt een non- 
proliferatie regime met betrekking tot deze ‘wapens’ zeer lastig te controleren aangezien 
het bezit hiervan moeilijk valt vast te stellen - het betreft immers dual-use technologie en 
programmeertaal die eenvoudig verkrijgbaar is, in tegenstelling tot plutonium en uranium. Er 
zou een indringend inspectie- en verificatieregime noodzakelijk zijn. Het is maar de vraag of 
een groot aantal landen een dergelijk regime zou willen accepteren, dat zowel militaire als 
civiele bedrijven omvat en diep zou ingrijpen op de soevereiniteit van staten. Landen kunnen 
er onvoldoende op vertrouwen dat andere landen zich aan de afspraken zullen houden. 


94 M.N. Schmitt, Autonomous weapon systems and international humanitarian law: a reply to critics, p. 36. 
Zie: <http://papers.ssrn. com/sol3/papers.cfm?abstractJd=2184826>. Geconsulteerd op 13 juli 2015. 

95 Zie voor de toespraken van de delegaties: <http://www.unog. ch/80256EE600585943/%28httpPages%2 
9/6CE049BE22EC75A2C1257C8D00513E26?0penDocument>. Geconsulteerd op 27 augustus 2015. 

96 Het Comprehensive Nuclear Test Ban Treaty (CTBT), dat nog niet in werking is getreden. 
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Om genoemde redenen acht de AIV/CAVV een moratorium thans niet wenselijk en 
niet haalbaar. De AIV/CAVV sluit evenwel niet uit dat ontwikkelingen op het gebied van 
kunstmatige intelligentie en robotica in de toekomst vragen om herziening van dit standpunt. 
Daarom is het van belang dat deze ontwikkelingen worden gevolgd en de regering actieve 
deelname aan discussies over juridische, ethische, technische en beleidsmatige vragen met 
betrekking tot autonome wapens in internationaal verband (met name CCW, maar ook in de 
NAVO) zeker stelt. 
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Samenvatting, conclusies en aanbevelingen 


VII. 1 Samenvatting en conclusies 

De definitiekwestie 

Autonomie wordt al decennia toegepast in offensieve wapens (bijvoorbeeld in fire and 
forget wapens) en in defensieve wapens zoals Patriot grond-luchtdoelraketten. Er is nog 
geen internationaal overeengekomen definitie van een autonoom wapen. Een bruikbare 
definitie zal een duidelijk onderscheid moeten maken tussen de bestaande wapens met 
een zekere mate van autonomie en toekomstige autonome wapens. 

In dit advies wordt met een autonoom wapen bedoeld: 


Een wapen dat zonder menselijke tussenkomst een doel, dat voldoet aan voor¬ 
geprogrammeerde kenmerken, selecteert en aanvalt, nadat mensen hebben besloten het 
wapen in te zetten en waarbij een mens niet meer kan ingrijpen om de aanval te stoppen. 


De bedienaar van het wapen weet niet welk individueel doel zal worden aangevallen, maar 
het soort doel is vooraf geprogrammeerd. Een wapen is alleen een autonoom wapen als de 
kritische functies voor het toepassen van (dodelijk) geweld, namelijk ‘selecteren van doelen’ 
en ‘aanvallen van doelen’ autonoom worden vervuld, zonder menselijke betrokkenheid 
(human out of the ioop). Met de loop wordt het besluitvormingsproces bedoeld ten aanzien 
van de selectie en het aanvallen van doelen. Dit begrip kan betrekking hebben op uitsluitend 
de kritische processen (doelselectie en aanval op het doel) die het wapen autonoom uitvoert 
(de loop in enge zin), maar ook op het bredere targeting proces, de wider loop, waar de mens 
een beslissende rol vervult. Er bestaan nu slechts enkele wapensystemen waarbij de mens 
out of the loop is in de eerste betekenis, zoals de Israëlische Harpy, die vijandelijke radars 
kan aanvallen. 

De AIV/CAVV is van mening dat de loop in brede zin, de wider loop, moet worden 
gehanteerd. Voorafgaand aan het proces dat het wapen uitvoert om een individueel doel 
te selecteren en aan te vallen, hebben immers mensen het besluit genomen het wapen 
in te zetten en is het wapen geprogrammeerd, waarbij ook beslissingen zijn genomen over 
de selectie van doelen. Deze besluiten maken deel uit van het targeting proces, waaronder 
ook elementen als het formuleren van doelstellingen, doelselectie, wapenselectie en 
uitvoeringsplanning vallen. De NAVO heeft daarvoor een vaste procedure en daarbij worden 
ook de mogelijke gevolgen voor de burgerbevolking meegewogen. Ook in de komende 
decennia zullen mensen de beslissing nemen een wapen al dan niet in te zetten. 

(Toekomstige) inzet van autonome wapens 

Inzet van autonome wapens kan belangrijke voordelen hebben. Computers kunnen sneller 
gegevens verzamelen en verwerken dan mensen, zodat bijvoorbeeld effectieve verdediging 
tegen inkomende raketten mogelijk is. Voorts kunnen autonome wapens mensen ten dele 
vervangen, zodat eigen militairen minder risico lopen. Ook kunnen autonome wapens 
opereren in omgevingen waar mensen niet kunnen overleven, bijvoorbeeld wegens de hoge 
druk, de temperatuur of het gebrek aan zuurstof. Autonome wapens kunnen het aantal 
slachtoffers onder eigen troepen en onder de burgerbevolking beperken. Deze wapens 
zullen de komende decennia waarschijnlijk worden ontwikkeld en ingezet om specifieke 
soorten doelen aan te vallen of voor defensieve taken. 
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Het is zeer onwaarschijnlijk dat autonome wapensystemen de rol van de mens op het 
slagveld volledig of substantieel zullen overnemen. Ze zullen naar verwachting naast 
militairen en bestaande wapensystemen en in samenhang met andere militaire en civiele 
technologie worden ingezet. De aard van moderne conflicten compliceert namelijk de inzet 
van deze wapensystemen. Ten eerste bevinden militaire doelen zich in moderne conflicten 
steeds vaker in gebieden met veel burgers. Partijen bij het conflict onderscheiden 
zich vaak opzettelijk niet duidelijk van hen die niet aan de strijd deelnemen. Inzet van 
autonome wapens is dan meestal problematisch. Ten tweede is het winnen van de hearts 
and minds van de bevolking in moderne conflicten vaak belangrijk. Ook om deze reden 
zullen autonome wapens naar verwachting een geringe rol spelen. In moderne conflicten 
zal de mens daarom een cruciale rol blijven spelen. 

Ontwikkelingen met betrekking tot autonome wapens op langere termijn worden vooral 
bepaald door ontwikkelingen ten aanzien van kunstmatige intelligentie. Als een wapen 
zou beschikken over lerend vermogen, zelf gedragsregels zou kunnen formuleren en zich 
zelfstandig kan aanpassen aan veranderingen in zijn omgeving, dan zou men kunnen 
spreken van wapens waarbij de mens beyond the wider loop is, of volledig autonome 
wapensystemen. Een dergelijk systeem zou aan menselijke controle ontsnappen. Deze 
wapensystemen bestaan nog niet. De AIV/CAVV acht het onwaarschijnlijk dat de komende 
decennia volledig autonome wapens worden ontwikkeld met het oogmerk om zonder enige 
menselijke controle te functioneren. Dan zou immers sprake zijn van wapens die zodanig 
geprogrammeerd zijn dat ze het gehele targeting proces zelfstandig uitvoeren, vanaf het 
formuleren van het te realiseren militaire doel tot en met het bepalen van de plaats en 
tijd van inzet. De AIV/CAVV ziet niet in waarom een staat - afgezien van de vraag of dit 
technisch mogelijk is - een dergelijk wapen zou willen (laten) ontwikkelen. 

Onder meer vanwege de vrees die volledig autonome wapensystemen oproepen, heeft 
het concept van betekenisvolle menselijke controle de afgelopen jaren veel aandacht 
gekregen. De toenemende complexiteit van autonome systemen zou ertoe kunnen leiden 
dat menselijke controle ten dele of grotendeels verloren gaat. Omdat de mogelijkheid dat 
dit gebeurt niet kan worden uitgesloten moet deze mogelijkheid naar de mening van de 
AIV/CAVV serieus worden genomen. Daarom is het belangrijk dat ontwikkelingen op het 
gebied van kunstmatige intelligentie en robotica worden gevolgd. 

Het juridische kader voor de toelaatbaarheid en inzet van autonome wapens 
Het internationaal recht verbiedt het gebruik van interstate lijk geweld, behoudens bij de in 
het VN Handvest opgenomen uitzonderingen. Staten mogen geweld gebruiken om zichzelf 
te verdedigen, als er een mandaat is van de VN-Veiligheidsraad of met toestemming van 
de staat waar het geweld wordt toegepast. Of bij de toepassing van geweld al dan niet 
autonome wapens worden ingezet, maakt geen verschil. 

Onder het humanitair oorlogsrecht zijn wapens verboden als bij de inzet ervan geen onder¬ 
scheid kan worden gemaakt tussen militaire doelen enerzijds en burgers en burgerobjecten 
anderzijds, als ze onnodig leed en/of buitensporige verwondingen veroorzaken bij vijandelijke 
combattanten of als de effecten van inzet niet kunnen worden beheerst op een wijze die het 
humanitair oorlogsrecht voorschrijft en daarmee burgers en militairen zonder onderscheid 
raken. Er is geen reden aan te nemen dat autonome wapens per definitie tot één van deze 
categorieën behoren. Volgens artikel 36 van het Eerste Aanvullende Protocol bij de Geneefse 
Verdragen moeten staten nieuwe wapens toetsen op de verenigbaarheid met de eisen van 
het humanitair oorlogsrecht. Of een specifiek autonoom wapen behoort tot één van de 
categorieën verboden wapens moet dus van geval tot geval worden beoordeeld. 
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Er zijn (afgezien van specifieke wapenbeheersingsverdragen) twee rechtsregimes die het 
gebruik van geweld reguleren: het humanitair oorlogsrecht en de rechten van de mens. 

Bij gevechtshandelingen is het humanitair oorlogsrecht van toepassing. Het humanitair 
oorlogsrecht stelt eisen aan de inzet van wapens. Deze betreffen het onderscheidend 
vermogen (tussen militaire en andere doelen), proportionaliteit (afweging tussen militair 
voordeel en nevenschade) en voorzorg (om burgerdoelen zoveel mogelijk te vrijwaren 
van geweldstoepassing). In specifieke situaties zoals inzet van autonome wapens op 
volle zee, onder water, in het luchtruim en in nauwelijks bevolkte gebieden zal meestal 
kunnen worden voldaan aan de vereisten van het humanitair oorlogsrecht. In vele andere 
situaties kan, zeker in de komende tien jaar, inzet van autonome wapens problematisch 
zijn, omdat bij inzet niet bij voorbaat voldoende zekerheid bestaat dat aan de eisen van 
onderscheidend vermogen, proportionaliteit en voorzorg kan worden voldaan. De context 
bepaalt dus in sterke mate of autonome wapens kunnen worden ingezet zonder het 
humanitair oorlogsrecht te schenden. Militairen zullen tijdens het targeting proces in de 
wider loop moeten afwegen of inzet van autonome wapens in een specifieke context te 
rechtvaardigen is conform de eisen van het humanitair oorlogsrecht. 

Genoemde twee rechtsregimes zijn van toepassing op alle vormen van geweldsgebruik en 
er is geen enkele reden om aan te nemen dat dit anders zou zijn voor (volledig) autonome 
wapens. Staten en personen hebben ook bij inzet van (volledig) autonome wapens de 
verplichting te verzekeren dat deze rechtsregels worden nageleefd. Discussie over de 
vraag of autonome wapens dit ooit zelfstandig kunnen is naar de mening van de AIV/ 
CAVV speculatief. Vanuit de vereisten van het humanitair oorlogsrecht is er geen verschil 
of autonome wapens zelfstandig kunnen voldoen aan de vereisten van het humanitair 
oorlogsrecht of niet. Dezelfde juridische eisen zijn onverminderd van toepassing op de 
inzet van alle wapens. 

Vragen van aansprakelijkheid 

De AIV/CAVV is van mening dat het geldend rechtsregime zoals hierboven beschreven 
in formele zin afdoende is om overtreders aansprakelijk te stellen. In die zin is er dan 
ook geen sprake van een accountability gap bij de inzet van autonome wapens zolang de 
mens blijft beslissen over de inzet van wapens in het kader van het targeting proces. Er 
is in ieder geval de komende tien jaar geen reden om aan te nemen dat er een lacune 
in strafrechtelijke aansprakelijkheid van commandanten, ondergeschikten of politieke 
en civiele verantwoordelijken zal ontstaan. Zij moeten immers bij de besluitvorming de 
afweging maken of inzet en activering van autonome wapens in de gegeven context kan 
voldoen aan de eisen van het humanitair oorlogsrecht en ethisch te verantwoorden is. 

Ook is er geen lacune in staatsaansprakelijkheid bij de inzet van autonome wapens. 

Wel treedt een verschuiving van aansprakelijkheid op in vergelijking met de inzet van 
wapens die voortdurend door mensen worden bediend, zoals bij de geweerschutter of de 
gevechtspiloot tijdens een luchtgevecht. Immers, bij de inzet van een autonoom wapen 
wordt geen besluit genomen over een aanval op een individueel doel. Dat besluit is 
impliciet in besluiten over de inzet en het activeren van het autonome wapen. Daardoor 
komt de aansprakelijkheid primair te liggen bij de commandant die besluit tot inzet en 
de militair die het wapen activeert, in plaats van een militair die een individueel doel 
selecteert en aanvalt. Dat betekent dat commandanten en militairen die betrokken zijn 
bij de inzet, goed moeten zijn getraind, opgeleid en geïnformeerd over de te verwachten 
effecten van de inzet van het autonome wapen. Zij moeten verantwoorde beslissingen 
nemen over onderscheid, proportionaliteit en voorzorg, zonder te weten welke individuele 
doelen zullen worden aangevallen. Er moet sprake zijn van betekenisvolle menselijke 
controle. 
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De primaire normen van het humanitair oorlogsrecht reguleren de inzet van autonome 
wapens zeer stringent. Inzet waarbij deze normen niet in acht worden genomen is daarmee 
niet rechtmatig. Een commandant kan zo wel degelijk aansprakelijk worden gehouden 
voor risicovolle inzet van autonome wapensystemen met schendingen van humanitair 
oorlogsrecht als gevolg. Factoren zoals het tijdsverloop tussen het activeren van het wapen 
(het laatste moment waarop de afwegingen over onderscheid, proportionaliteit en voorzorg 
kunnen plaatsvinden) en de daadwerkelijke aanval op het doel, alsmede de complexiteit 
van het wapen, vragen om grotere terughoudendheid bij inzet van autonome wapens. Deze 
factoren kunnen dus niet zonder meer worden ingeroepen om onvoorzienbaarheid van de 
gevolgen te bepleiten en aansprakelijkheid te ontduiken. 

Betekenisvolle menselijke controle 

De AIV/CAVV prefereert het concept betekenisvolle menselijke controle boven de 
begrippen judgment en voorspelbaarheid. Internationaal lijkt ook consensus te ontstaan 
over de bruikbaarheid van het concept betekenisvolle menselijke controle. Ook al is er 
geen consensus over de invulling van het concept, wel wordt grotendeels erkend dat het 
kan dienen als onderscheidend criterium tussen aanvaardbare en onaanvaardbare (inzet 
van) autonome wapens. 

Ondanks het ontbreken van een internationaal overeengekomen invulling van het 
concept betekenisvolle menselijke controle, speelt het concept al een belangrijke rol 
bij de maatschappelijke acceptatie van wapensystemen die zelf doelen selecteren en 
aanvallen. Het uitgangspunt van de AIV/CAVV is dat mensen moeten beslissen over 
de toepassing van dodelijk geweld. Betekenisvolle menselijke controle houdt in dat 
mensen geïnformeerde, bewuste keuzes maken over het gebruik van wapens, op basis 
van adequate informatie over het doel, over het wapen en over de context waarin de 
inzet van het wapen plaatsvindt. Bovendien moet het wapen zodanig zijn ontworpen en 
in een realistische operationele omgeving zijn getest en moeten mensen voldoende zijn 
getraind, om betekenisvolle controle over het wapen te kunnen hebben. Deze vereisten zijn 
overigens van toepassing op elk wapen. 

De AIV/CAVV relateert betekenisvolle menselijke controle aan het gehele targetingpmces, 
de wider loop, omdat op verschillende momenten in het proces beslissingen worden 
genomen ten aanzien van de selectie van en aanval op doelen, ook als daarbij een 
autonoom wapen wordt ingezet. Betekenisvolle menselijke controle moet een waarborg 
zijn voor verantwoorde ethische en juridische afwegingen in het besluitvormingsproces 
dat leidt tot toepassing van (dodelijk) geweld. Ook kan in beginsel verantwoordelijkheid 
en aansprakelijkheid aan individuen worden toegewezen als mensen controle hebben 
over autonome wapens. Betekenisvolle menselijke controle is dus een concept dat 
instrumenteel is voor het naleven van de eisen van het humanitair oorlogsrecht en 
ethische beginselen alsook het toewijzen van verantwoordelijkheid en aansprakelijkheid. 

De AIV/CAVV is van mening dat het concept van betekenisvolle menselijke controle kan 
worden gezien als een standaard die afgeleid kan worden uit bestaande regelgeving en 
gebruiken (zoals het targetingpmces) waardoor er geen noodzaak is voor extra of nieuwe 
regelgeving. Het concept hoeft geen nieuwe norm te worden in het internationaal recht. 

Het concept kan dienen als handvat voor analyse tijdens toetsing conform artikel 36 van 
het Eerste Aanvullende Protocol bij de Geneefse Verdragen. Het kan tevens behulpzaam 
zijn om de risico’s van schending van het humanitair oorlogsrecht bij inzet van het 
specifieke autonome wapen dat wordt getoetst, in kaart te brengen. In procedures voor 
toetsing van wapens conform artikel 36 zou onder meer moeten worden nagegaan of de 
mate waarin menselijke controle is ingebouwd in het ontwerp van het autonome wapen 
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voldoende waarborgen biedt voor de naleving van het internationaal recht. Het is daarom 
van belang dat er internationale overeenstemming wordt bereikt over de precieze inhoud 
en betekenis van het concept van betekenisvolle menselijke controle. 

Een interpretative guide zou een interpretatie van het bestaande recht bij inzet van 
autonome wapens kunnen geven. De totstandkoming van een dergeiijk document zou 
wellicht ook de vorming van consensus over het concept betekenisvolle menselijke 
controle kunnen bevorderen. In dit document zouden - voor zover de classificatie van 
nationale systemen en procedures dit toelaat - bijvoorbeeld best practices kunnen worden 
opgenomen over onder meer de rol van betekenisvolle menselijke controle in artikel 36 
procedures en bij de inzet van autonome wapens. Deze gids zou een voorlichtende en 
educatieve functie kunnen vervullen en zou wellicht in het kader van de CCW tot stand 
kunnen komen. 

Ethiek en autonome wapens 

Het (internationaal) recht is gebaseerd op ethische beginselen, maar ethische beginselen 
zijn breder dan het recht. Zolang betekenisvolle menselijke controle bestaat over de inzet 
van autonome wapens zijn ethische vraagstukken (zoals de menselijke waardigheid) naar 
het oordeel van de AIV/CAVV niet problematisch. Immers, binnen de wider loop neemt 
een mens een afgewogen besluit om een autonoom wapen in te zetten met als doel 
vijandelijke eenheden en objecten uit te schakelen. Het gebruik van (dodelijk) geweld is 
dan intentioneel, ook als een autonoom wapen doelen selecteert en aanvalt. Inzet van 
deze autonome wapens met betekenisvolle menselijke controle, kan op het gevechtsveld 
levens van militairen sparen en een bijdrage leveren aan het voorkomen of beperken van 
burgerslachtoffers. Dat neemt niet weg dat het aantal situaties waarin dergelijke wapens 
op verantwoorde wijze kunnen worden ingezet, naar verwachting beperkt is. 

Op de lange termijn kunnen ontwikkelingen in kunstmatige intelligentie menselijke 
controle over autonome wapensystemen mogelijk ondermijnen, bijvoorbeeld als zelflerende 
systemen hun eigen gedragsregels zouden kunnen wijzigen. De AIV/CAVV verwacht dat 
dit de komende decennia niet zal plaatsvinden. Wanneer niet langer sprake zou zijn van 
betekenisvolle menselijke controle over het gebruik van autonome wapens, dan zou het 
gebruik van deze wapens naar de mening van de AIV/CAVV niet moeten plaatsvinden. 

De AIV/CAVV acht voortgaande discussies in CCW-verband over juridische, ethische, 
technische en beleidsmatige vragen met betrekking tot ontwikkelingen op het gebied van 
(volledig) autonome wapensystemen op langere termijn dan ook van groot belang. Ook 
binnen de NAVO wordt over dit onderwerp van gedachten gewisseld en is een actieve 
Nederlandse inbreng gewenst. 

Een moratorium? 

In april 2013 riep de VN -Special Rapporteur on Extrajudicial, Summary or Arbitrary Executions, 
Prof. Heyns op tot een moratorium op ‘at least the testing, production, assembly, transfer, 
acquisition, deployment and use of Lethal Autonomous Robots'totdat een internationaal 
raamwerk voor de toekomst van deze wapens is overeengekomen. Tijdens de CCW-bijeen- 
komst in april 2015 benadrukte hij het belang van betekenisvolle menselijke controle: ‘As 
long as they (autonomous weapon Systems) are good tools, in the sense that humans exercise 
meaningful control over them, they can and should be used in an armed conflict situation’ en 
voorts: ‘lf they are no longer tools in the hands of humans, they should not be used.’ 

Zeker de komende tien jaar en naar redelijke verwachting ook de komende decennia 
zullen autonome wapensystemen niet tot één van de categorieën verboden wapens 
behoren en zal het gebruik kunnen (en moeten) voldoen aan het bestaande rechtskader 
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en toepasselijke ethische grondslagen (zoals die bijvoorbeeld geformaliseerd zijn en 
erkend in humanitair oorlogsrecht en Ru/es Of Engagement). De technologie is dan ook 
niet onrechtmatig of onethisch. Het gebruik ervan kan dat wel zijn maar dat kan het geval 
zijn met ieder wapen. De AIV/CAVV verwacht dat autonome wapens zeker het komende 
decennium onder betekenisvolle menselijke controle zullen staan. Dat biedt voldoende 
mogelijkheden voor de naleving van het internationaal recht en respect voor de menselijke 
waardigheid. De AIV/CAVV acht het van belang om te blijven investeren in kennis op het 
gebied van autonome wapens. Om goed inzicht te verwerven in de ethische, juridische en 
technische aspecten van autonome wapensystemen is (wetenschappelijke) kennis (op het 
gebied van de ontwikkeling) van deze wapensystemen cruciaal. 

Naar de mening van de AIV/CAVV roept een moratorium of verbod ook om verschillende 
praktische redenen bezwaren op. De benodigde kennis wordt grotendeels ontwikkeld 
in de civiele sector voor vreedzame doeleinden. Veel kennis is dual use en heeft zowel 
civiele als militaire toepassingen. Er zijn geen scherpe lijnen te trekken tussen technologie 
die wel is toegestaan en technologie die is verboden. Ook is er geen internationale 
consensus over definities. De vraag is dan: een moratorium waarop? Ook lijkt een non- 
proliferatie regime met betrekking tot deze ‘wapens’ zeer lastig te controleren aangezien 
het bezit ervan moeilijk valt vast te stellen - het betreft immers dual-use technologie en 
programmeertaal die eenvoudig verkrijgbaar is. Daarom kunnen landen er onvoldoende op 
vertrouwen dat andere landen zich aan de afspraken zullen houden. Tijdens de informele 
expertbijeenkomsten van de CCW in april 2015 bleek ook dat er geen draagvlak is voor 
een moratorium of een verbod onder staten. Slechts vijf landen (Cuba, Ecuador, Egypte, 
de Heilige Stoel en Pakistan) gaven aan een moratorium of een verbod te steunen. Zonder 
dat draagvlak is een verdrag over een verbod of moratorium onhaalbaar. Om genoemde 
redenen acht de AIV/CAVV een moratorium thans niet wenselijk en niet haalbaar. De AIV/ 
CAVV sluit evenwel niet uit dat ontwikkelingen op het gebied van kunstmatige intelligentie 
en robotica in de toekomst kunnen vragen om herziening van dit standpunt. 

VII.2 Aanbevelingen 

1. In een blijvend technologisch hoogwaardige Nederlandse krijgsmacht is naar de 
mening van de AIV/CAVV ook een (toekomstige) rol weggelegd voor autonome 
wapensystemen. Bij inzet zal evenwel altijd sprake moeten zijn van betekenisvolle 
menselijke controle zoals beschreven in dit advies. 

2. De AIV/CAVV acht het noodzakelijk dat onderscheid wordt gemaakt tussen autonome 
wapens (waarbij de mens een cruciale rol speelt in de wider ioop) en volledig 
autonome wapens (waarbij de mens beyond the wider loop is en er niet langer sprake 
is van menselijke controle). 

3. De AIV/CAVV is van mening dat Nederland een actieve rol moet blijven spelen bij 
discussies in CCW-verband over juridische, ethische en beleidsmatige vragen met 
betrekking tot ontwikkelingen op het gebied van autonome wapensystemen. De 
AIV/CAVV onderschrijft het belang van (maatschappelijke) discussie over nieuwe 
technologieën en adviseert de regering hierover nauw in contact te blijven met onder 
meer NGO’s en de wetenschappelijke wereld. 

4. De AIV/CAVV is van mening dat tijdens de komende CCW-bijeenkomsten zo snel als 
mogelijk overeenstemming moet worden bereikt over de definitie van een autonoom 
wapen en het concept van betekenisvolle menselijke controle. In NAVO-verband moet 
afstemming worden nagestreefd. De AIV/CAVV acht het van belang dat bij deze 
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discussies de interpretatie van de (besluitvormings)/oop betrekking heeft op het 
gehele targeting proces waarbij de mens een beslissende rol vervult en niet op de loop 
‘in enge zin' (de kritische processen - doelselectie en aanval op het doel - die het 
autonome wapen zelf uitvoert). 

5. De AIV/CAVV adviseert de regering om tijdens de komende CCW-bijeenkomsten te 
pleiten voor bredere nationale implementatie van artikel 36 procedures, voor meer 
transparantie over de uitkomsten van gevolgde toetsingsprocedures en voor meer 
internationale uitwisseling van informatie. 

6. De AIV/CAVV acht het noodzakelijk dat bij de (toekomstige) verwerving van autonome 
wapens de procedure met betrekking tot artikel 36 van het Eerste Aanvullende 
Protocol bij de Geneefse Verdragen, stringent wordt toegepast. De AIV/CAVV is 

van mening dat het concept van betekenisvolle menselijke controle hierbij als 
handvat moet dienen. De Adviescommissie Internationaal Recht en Conventioneel 
Wapengebruik dient naar de mening van de AIV/CAVV een sleutelrol te spelen bij 
de advisering over de verenigbaarheid van het betreffende autonome wapen met 
het geldende en in ontwikkeling zijnde internationale recht en in het bijzonder het 
humanitaire oorlogsrecht. 

7. De AIV/CAVV adviseert de regering om bij eventuele toekomstige aanschaf van 
autonome wapens toe te zien op toepassing van het concept Moral Responsible 
Engineering in de ontwerpfase, gelet op het belang van de toewijzing van 
verantwoordelijkheid en aansprakelijkheid. 

8. De AIV/CAVV beveelt de regering aan bij aanschaf van autonome wapens uitvoerige 
testen in een realistische omgeving te doen plaatsvinden. 

9. De AIV/CAVV adviseert de regering om bij de ethische vorming van militairen, in het 
bijzonder commandanten, ook aandacht te geven aan ethische vragen die aan de orde 
kunnen zijn bij inzet van autonome wapens. 

10. De AIV/CAVV adviseert de regering in internationaal (CCW) verband te streven naar 
de totstandkoming van een interpretative guide waarin een interpretatie van het 
bestaande recht bij de inzet van autonome wapens is opgenomen. In een dergelijk 
document zouden bijvoorbeeld ook best practices kunnen worden opgenomen over 
onder meer de rol van betekenisvolle menselijke controle in artikel 36 procedures en 
bij de inzet van autonome wapens. Deze gids zou een voorlichtende en educatieve 
functie kunnen vervullen. 

11. Gelet op de snelle ontwikkelingen op het gebied van robotica en kunstmatige 
intelligentie en de voortgaande internationale discussie (vooral in CCW-verband) 
over juridische, ethische en beleidsmatige vragen met betrekking tot autonome 
wapensystemen, adviseert de AIV/CAVV de regering over vijfjaar de bruikbaarheid van 
dit advies opnieuw tegen het licht te houden. 
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Adviesaanvraag 


Bijlage I 


Adviesraad Internationale Vraagstukken 
Bezuidenhoutseweg 67 
Postbus 20061 
2500 EB Den Haag 


Commissie van Advies inzake 
Volkenrechtelijke Vraagstukken 
Bezuidenhoutseweg 67 
Postbus 20061 
2500 EB Den Haag 


Datum 7 april 2015 

Betreft Adviesaanvraag over autonome wapensystemen 


Geachte voorzitters, 

Om huidige en toekomstige dreigingen het hoofd te kunnen bieden, moet de krijgsmacht zich 
voortdurend vernieuwen. Defensie maakt daarom gebruik van de modernste technologieën, 
ook op het gebied van robotica en informatietechnologie. Bij de ontwikkeling van deze 
technologieën loopt het civiele domein overigens veelal voorop. 

Al langer maakt Defensie gebruik van systemen die in hoge mate automatisch kunnen werken, 
zoals de Goalkeeper aan boord van schepen en de Patriot grond-luchtdoelraketten. De mate 
waarin deze systemen door hun bedienaars op ‘automatisch’ worden gezet, is afhankelijk van 
de veiligheidsomgeving en het dreigingsbeeld. Hoe groter de dreiging en hoe sneller moet 
worden gereageerd, hoe automatischer deze systemen moeten werken om effectief te zijn. 

Deze systemen staan onder controle van hun bedienaars. 

De snelle technologische ontwikkelingen versterken de trend van meer geautomatiseerde of 
- in bepaalde gevallen - autonome functies in producten van uiteenlopende aard, waaronder 
wapensystemen. Het is niet langer denkbeeldig dat op langere termijn volledig autonome 
wapensystemen met kunstmatige intelligentie worden ontwikkeld met functies zoals doelselectie 
en de toepassing van (dodelijk) geweld, zonder tussenkomst van menselijk handelen. 

Dergelijke systemen bestaan nog niet. Niettemin is internationaal een debat ontstaan over 
de juridische, ethische en beleidsmatige vragen over volledig autonome wapensystemen. De 
Speciaal Rapporteur van de VN Mensenrechtenraad inzake buitengerechtelijke, standrechtelijke 
en willekeurige executies, Christof Heyns, heeft in 2013 een rapport uitgebracht over Lethal 
Autonomous Robotics dat op deze vragen ingaat. Ook enige NGO’s die zich hebben verenigd in 
de internationale campagne Stop Killer Robots, vragen aandacht voor de mogelijke gevolgen 
van de ontwikkeling van autonome wapensystemen. 

Het standpunt van de regering over autonome wapensystemen is verwoord in de brief van 
26 november 2013 (Kamerstuk 33 750 X, nr. 37). Daarin is gemeld dat Defensie niet aan 
dergelijke wapensystemen werkt en er ook geen plannen voor heeft. In de brief onderstreept 
de regering nog eens het leidende beginsel dat alle wapensystemen én de inzet in een 
gewapend conflict moeten voldoen aan alle eisen die het internationaal recht stelt. De regering 
heeft de plicht, vastgelegd in Artikel 36 van het eerste Aanvullende Protocol bij de Verdragen 
van Genève, om nieuwe wapens en nieuwe methoden van oorlogvoering te toetsen aan het 
internationaal recht. In Nederland is hiervoor de Adviescommissie Internationaal Recht en 
Conventioneel Wapengebruik (AIRCW) opgericht. 


Het is met andere woorden verboden autonome wapensystemen te verwerven of in te zetten 
als niet aan de eisen van het internationaal recht kan worden voldaan. De Commissie van 
Advies inzake Volkenrechtelijke Vraagstukken (CAVV) schrijft in een eerder advies dat “de inzet 
van ieder wapensysteem, of het (vrijwel) autonoom is of niet, onderworpen is aan hetzelfde 
juridische kader [...]” (advies nr. 23, p. 12, juli 2013). 

De regering wil het debat over autonome wapensystemen bevorderen. Zo geeft Nederland 
financiële steun aan (wetenschappelijk) onderzoek naar de vragen die deze systemen 
oproepen. Verder neemt Nederland deze maand voor de tweede keer deel aan de bijeenkomst 
van deskundigen over Lethal Autonomous Weapon Systems (LAWS) van de Conventie voor 
bepaalde Conventionele Wapens (CCW) van de VN. In mei 2014 kwamen de deskundigen 
voor het eerst in CCW-kader bijeen. Toen leek consensus te ontstaan over de introductie 
van de notie “betekenisvolle menselijke interventie” om te bepalen of een autonoom 
wapensysteem al dan niet aan ethische normen voldoet. Voorts was de vraag aan de orde of 
een wapensysteem dat mogelijk niet aan ethische normen voldoet, daardoor evenmin voldoet 
aan de eisen van het internationaal recht. 

De meningen over wat de notie “betekenisvolle menselijke interventie” precies inhoudt, 
lopen echter nog uiteen. De invulling hiervan vergt nader onderzoek. Tevens moet worden 
onderzocht of ook andere noties kunnen helpen bij de toetsing van autonome wapensystemen 
aan ethische normen. 

In dit kader heeft de regering de volgende vragen aan de AIV en de CAVV: 

1. Welke rol ziet u nu en in de toekomst weggelegd voor autonome (functies van) 
wapensystemen in het militaire optreden? 

2. Voorziet u veranderingen bij het afleggen van verantwoording over het gebruik van 
(volledig) autonome wapensystemen in relatie tot daarmee samenhangende ethische 
vragen? Welke rol kan de notie van “betekenisvolle menselijke interventie” hierbij volgens 
u spelen en zijn er nog andere noties die hierbij behulpzaam kunnen zijn? 

3. In haar eerdere advies heeft de CAVV gesteld dat de inzet van ieder wapensysteem, of 
het (vrijwel) autonoom is of niet, onderworpen is aan hetzelfde juridische kader. Wat de 
CAVV betreft is er geen reden om aan te nemen dat het internationaalrechtelijke kader 
ontoereikend is om de inzet van bewapende drones te reguleren. Is er in het licht van de 
discussie over (volledig) autonome wapensystemen reden om dit advies aan te vullen of 
bij te stellen? 

4. Hoe beoordeelt u de oproep van de Speciaal Rapporteur van de VN om een moratorium 
op de ontwikkeling van volledig autonome wapensystemen? 

5. Hoe kan Nederland het beste bijdragen aan de internationale discussie hierover? 

De regering ontvangt uw advies graag tijdig voor de begrotingsbehandeling dit najaar. 

Wij zien uw advies met veel belangstelling tegemoet. 








Targetingproces en humanitair oorlogsrecht 
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N.B. Het schema is een vereenvoudigde weergave van het targetingproces. Het proces is iteratief en verloopt vaak niet volgens duidelijk onderscheidenlijke stappen. Specifieke 
regels van humanitair oorlogsrecht zijn niet definitief in te delen in deze fasen, vaak spelen ze een rol in meerdere (of alle) fasen. Het eindresultaat van het proces moet in ieder 
geval voldoen aan alle regels. 











Lijst met gebruikte afkortingen 


Bijlage III 


AIV 

CAVV 

COS 

CTBT 

CVV 

CCW 


ICRAC 

ICRC 

LARs 

NAVO 

NGO 

NPV 

TNO 

UNIDIR 

VN 


Adviesraad Internationale Vraagstukken 

Commissie van Advies inzake Volkenrechtelijke Vraagstukken 

Commissie Ontwikkelingssamenwerking 

Comprehensive Test Ban Treaty (Alomvattend Kernstopverdrag) 

Commissie Vrede en Veiligheid 

Convention on Certain Conventional Weapons (Verdrag inzake het verbod 
of de beperking van het gebruik van bepaalde conventionele wapens die 
geacht kunnen worden buitensporig leed te veroorzaken of een niet- 
onderscheidende werking te hebben) 

International Committee for Robotic Arms Controi 
International Committee of the Red Cross 
Lethal Autonomous Robotics 
Noord-Atlantische Verdragsorganisatie 
Non-gouvernementele organisatie 
Non-Proliferatie Verdrag 

Nederlandse Organisatie voor toegepast-natuurwetenschappelijk onderzoek 
United Nations Institute for Disarmament Research 
Verenigde Naties 


